[논문 리뷰] Addressing Sample Complexity in Visual Tasks Using HER and Hallucinatory GANs

Himanshu Sahni, Toby Buckley외 2명|arXiv (Cornell University)|2019. 01. 31.

Reinforcement Learning in Robotics참고 문헌 38인용 수 7

한 줄 요약

이 논문은 실패한 트레이젝터리에서 시각적 목표를 환상적으로 생성함으로써 시각 기반 환경에서 후행 경험 재학습(Hindsight Experience Replay, HER)을 가능하게 하는 생성 모델 HALGAN을 제안한다. 소수의 목표 스냅샷을 사용하여 에이전트 관측값을 후행적으로 수정함으로써, 3D 내비게이션 및 로봇 작업에서 샘플 효율적인 강화학습을 가능하게 하며, 기준 모델 대비 학습 속도를 크게 향상시킨다.

ABSTRACT

Reinforcement Learning (RL) algorithms typically require millions of environment interactions to learn successful policies in sparse reward settings. Hindsight Experience Replay (HER) was introduced as a technique to increase sample efficiency by reimagining unsuccessful trajectories as successful ones by altering the originally intended goals. However, it cannot be directly applied to visual environments where goal states are often characterized by the presence of distinct visual features. In this work, we show how visual trajectories can be hallucinated to appear successful by altering agent observations using a generative model trained on relatively few snapshots of the goal. We then use this model in combination with HER to train RL agents in visual settings. We validate our approach on 3D navigation tasks and a simulated robotics application and show marked improvement over baselines derived from previous work.

연구 동기 및 목표

• 목표가 상태 좌표가 아닌 시각적 특징으로 정의되는 시각 기반 환경로에서, 높은 샘플 복잡도 문제를 해결하기 위해 HER를 확장함.
• 실패한 트레이젝터리를 후행적으로 성공한 것으로 변환함으로써, 희박한 보상 환경에서의 효율적 학습을 가능하게 하기 위해 관측값 환상화를 활용함.
• 목표 설정 데이터에 대한 의존도를 최소화하기 위해, 몇 개의 주석이 달린 목표 스냅샷만으로도 생성 모델을 훈련함.
• 환상된 목표가 3D 내비게이션 및 시뮬레이티드 로봇 작업에서 더 빠른 정책 학습을 위한 효과적인 조밀한 보상 신호를 제공할 수 있음을 입증함.

제안 방법

• HALGAN은 에이전트가 목표와 상대적으로 어디에 위치해 있는지를 보여주는 소수의 주석이 달린 이미지로 훈련된 조건부 생성 모델로, 실패한 트레이젝터리에서 실제 목표 상태를 현실적으로 환상화할 수 있음.
• 에이전트 관측값을 수정하여, 목표가 달성된 것처럼 보이도록 만들며, 이는 에이전트-목표 상대 자세에 대한 공간 조건부를 사용한 이미지 간 번역 기법을 활용함.
• HER는 후행적 목표 재할당을 통해 HALGAN과 통합되며, 환상된 목표 이미지를 사용해 오프-폴리시 학습 중에 조밀한 보상을 생성함.
• 관측된 상태와 환상된 목표 이미지 사이의 거리 기반 보상을 계산하기 위해 VAE 기반 보상 함수를 사용하며, 이는 환경의 보상 크기와 일치하도록 스케일링됨.
• 에이전트 상태와 상대 목표 위치를 조건으로 삼아, 시각적 타당성과 시간적 일관성을 유지하는 일관된 환상화를 가능하게 함.
• HALGAN의 훈련 데이터는 희박하고 주석이 달린 롤아웃을 통해 수집되며, RL 학습 중에 미세조정을 통해 환상화의 정확도를 향상시킴.

실험 결과

연구 질문

• RQ1 목표가 상태 좌표가 아닌 시각적 외관으로 정의되는 시각 환경에 대해, 후행 경험 재학습(HER)을 효과적으로 확장할 수 있는가?
• RQ2 소수의 목표 스냅샷으로 훈련된 생성 모델이 실패한 트레이젝터리에서 목표 상태를 성공적으로 환상화하여 조밀하고 의미 있는 보상 신호를 생성할 수 있는가?
• RQ3 관측값의 시각적 환상화가 표준 강화학습 및 이전 HER 변종 대비, 시각 작업에서 더 빠르고 샘플 효율적인 정책 학습을 이끌 수 있는가?
• RQ4 이 방법의 성능은 환상화 모델의 훈련 데이터셋 크기에 얼마나 민감한가?

주요 결과

• HALGAN+HER 에이전트는 시각 내비게이션 작업에서 즉시 학습을 시작하지만, 표준 DQN 및 DDPG 에이전트는 수백만 단계 동안 보상 신호를 전혀 받지 못함.
• 미니월드 연속 제어 환경에서, DDPG 및 단순 HER는 보상 신호 부족으로 인해 완전히 실패하는 반면, HALGAN 에이전트만이 작업을 성공적으로 학습함.
• HALGAN 에이전트는 VAE-HER 기반 베이스라인보다 성능이 뛰어나며, 이는 VAE 기반 조밀한 보상을 사용하지만 환상된 상태와 목표 달성 간의 연관성이 떨어지기 때문임.
• 단지 1,000장의 훈련 이미지로도 HALGAN은 강력한 성능을 유지하며 학습 속도에 미미한 저하를 보이며, 효과적인 환상화에 필요한 데이터가 매우 적다는 것을 시사함.
• 상태 이미지만을 입력으로 사용함으로써, 다양한 목표로의 빠른 일반화가 가능하며, 추론 시에 명시적인 목표 상태 감시가 필요 없음.
• 이 방법은 훈련 데이터 크기의 변동에 대해 강건하며, 거리 기반 보상과 같은 다른 보상 형상화 기법과도 조합 가능하여 추가적인 성능 향상이 가능함.