[논문 리뷰] Automatic Goal Generation for Reinforcement Learning Agents

Carlos Florensa, David Held외 2명|arXiv (Cornell University)|2017. 05. 17.

Reinforcement Learning in Robotics참고 문헌 47인용 수 144

한 줄 요약

본 논문은 자동으로 중간 난이도 목표를 생성하는 적대적 프레임워크 Goal GAN을 통해 단일 정책을 학습시켜 희소 보상 하에서도 다양한 연속 목표를 달성하도록 하며 자동 커리큘럼을 형성하고 샘플 효율성을 향상시킨다.

ABSTRACT

Reinforcement learning is a powerful technique to train an agent to perform a task. However, an agent that is trained using reinforcement learning is only capable of achieving the single task that is specified via its reward function. Such an approach does not scale well to settings in which an agent needs to perform a diverse set of tasks, such as navigating to varying positions in a room or moving objects to varying locations. Instead, we propose a method that allows an agent to automatically discover the range of tasks that it is capable of performing. We use a generator network to propose tasks for the agent to try to achieve, specified as goal states. The generator network is optimized using adversarial training to produce tasks that are always at the appropriate level of difficulty for the agent. Our method thus automatically produces a curriculum of tasks for the agent to learn. We show that, by using this framework, an agent can efficiently and automatically learn to perform a wide set of tasks without requiring any prior knowledge of its environment. Our method can also learn to achieve tasks with sparse rewards, which traditionally pose significant challenges.

연구 동기 및 목표

• 다양하고 연속적인 목표의 집합에 도달할 수 있는 정책 학습을 목표로 한다.
• 에이전트의 현재 능력에 맞춘 자동 커리큘럼 생성을 가능하게 한다.
• 희소 보상 없이도 손으로 설계된 보상 없이 목표 조건 RL 프레임워크를 개발한다.
• 샘플 효율성 개선과 고차원 목표 공간으로의 확장성 향상을 보여준다.

제안 방법

• 상태 공간의 매개변수화된 부분집합으로 목표를 정의하고 목표 달성에 대한 이진 보상을 부여한다.
• 현재 정책에 대해 GOID에 속하는 목표를 생성하기 위해 Goal GAN을 도입한다.
• 에이전트의 관찰 성공으로 목표를 라벨링하여 GAN을 양성 예시와 음성 예시로 학습시킨다.
• 정책이 GOID 샘플에서 차례로 학습하고 정책 성능에 따라 GAN을 업데이트한다.
• 정책 업데이트를 위해 기본 RL 옵티마이저로 TRPO를 GAE와 함께 사용한다.

실험 결과

연구 질문

• RQ1 Goal GAN을 통한 자동 커리큘럼 생성이 여러 목표 달성 학습의 샘플 효율성을 개선할 수 있는가(기준선과 비교하여)?
• RQ2 Goal GAN이 중간 난이도 목표를 적응적으로 샘플하고 다모달 목표 분포를 추적하는가?
• RQ3 방법이 더 높은 차원의 목표 공간이나 더 복잡한 목표 공간으로 확장될 때도 성능을 유지하는가?
• RQ4 손으로 설계된 보상 없이도 희소 보상 설정에 대해 방법이 로버스트한가?
• RQ5 시간에 따라 도달 가능한 목표의 집합을 확장하면서 망각을 방지할 수 있는가?

주요 결과

• Goal GAN은 중간 난이도의 목표에 집중하여 학습 속도를 높이고 균일 샘플링 및 여러 벤치마크를 능가한다.
• 생성기가 정책이 향상됨에 따라 지나치게 쉽지도 너무 어려지도 않은 GOID로 동적으로 이동한다.
• 방법은 다모달 목표 분포를 추적하고 미로와 같은 환경에서도 다양한 목표 커버리지를 유지한다.
• 고차원 목표 공간에서 유효한 부분집합 내에서 목표를 생성하여 비유효한 샘플을 피함으로써 방법은 여전히 효과적이다.
• 거절 샘플링 옵솔(oracle) 변형은 GOID 기반 샘플링이 거의 최적임을 확인하고, 전체 GAN 기반 방법은 샘플 효율성이 훨씬 더 높음을 보인다.