[논문 리뷰] Learning Montezuma's Revenge from a Single Demonstration

Tim Salimans, Richard J. Chen|arXiv (Cornell University)|2018. 12. 08.

Reinforcement Learning in Robotics참고 문헌 32인용 수 84

한 줄 요약

요약: 이 논문은 에피소드를 하나의 시演에서 시작하는 강화학습 접근법을 제시하여 Montezuma's Revenge와 같은 희소 보상 문제를 해결하고 imitation 없이도 최첨단 점수를 달성합니다.

ABSTRACT

We propose a new method for learning from a single demonstration to solve hard exploration tasks like the Atari game Montezuma's Revenge. Instead of imitating human demonstrations, as proposed in other recent works, our approach is to maximize rewards directly. Our agent is trained using off-the-shelf reinforcement learning, but starts every episode by resetting to a state from a demonstration. By starting from such demonstration states, the agent requires much less exploration to learn a game compared to when it starts from the beginning of the game at every episode. We analyze reinforcement learning for tasks with sparse rewards in a simple toy environment, where we show that the run-time of standard RL methods scales exponentially in the number of states between rewards. Our method reduces this to quadratic scaling, opening up many tasks that were previously infeasible. We then apply our method to Montezuma's Revenge, for which we present a trained agent achieving a high-score of 74,500, better than any previously published result.

연구 동기 및 목표

• Hard exploration tasks with sparse rewards를 해결하는 동기를 부여합니다.
• Demonstration-guided 커리큘럼으로 imitation을 피하고 보상을 직접 최적화합니다.
• Demonstration 상태로 재설정하는 것이 탐색의 복잡성을 지수에서 2차로 축소한다는 것을 보여줍니다.
• MonteZuma's Revenge에서 이전 방법과 비교하여 확장성과 효과를 입증합니다.

제안 방법

• 에피소드를 demonstration 상태에서 시작하고 재설정을 점차 시演의 시작 쪽으로 이동시켜 커리큘럼을 구성합니다.
• RL 정책을 공유하는 여러 병렬 롤아웃 워커와 데이터를 수집하는 중앙 옵티마이저를 사용합니다.
• training에서 해당 전이들을 마스킹하는 동안 demonstration 세그먼트에서 RNN 정책 숨겨진 상태를 초기화합니다.
• 정책 업데이트를 위해 기존의 RL 알고리즘(예: PPO, A3C, Impala)을 적용합니다.
• 재설정 지점을 롤아웃의 demonstration를 이긴 비율에 따라 동적으로 조정하고 임계값 ρ를 사용합니다.
• 에이전트를 점차 demonstration 점수를 이기도록 학습하여 더 이른 demonstration 상태로 돌아가도록 만듭니다.

실험 결과

연구 질문

• RQ1 Montezuma's Revenge와 같은 희소 보상 환경에서 demonstration 상태에서의 에피소드 시작이 효과적인 학습을 가능하게 합니까?
• RQ2 demonstration-guided 커리큘럼이 탐색 복잡성을 지수적 증가에서 더 다루기 쉬운 증가로 줄입니까?
• RQ3 최종 성능과 부분 최적 시연에 대한 강건성 측면에서 접근법이 모방 기반 방법과 어떻게 비교됩니까?
• RQ4 Atari 수준의 작업에서 이러한 에이전트를 학습시키기 위한 확장성 및 실용적 요구사항(예: 컴퓨트, 네트워크 아키텍처)은 무엇입니까?

주요 결과

• 이 방법은 최종 Montezuma's Revenge 점수 74,500을 달성하여 이전에 발표된 결과보다 높습니다.
• toy blind cliff walk에서 demonstration 상태로 시작하는 것이 탐색 복잡성을 지수에서 2차로 축소합니다.
• 에이전트는 추가 다이아몬드를 수집하고 새로운 경로를 발견하여 (예: 열쇠 재등장) démonstration 점수를 넘어설 수 있습니다.
• 커리큘럼이 끝에서 시작으로 재설정 포인트를 이동시키며 약 2주간 128개 GPU를 사용한 훈련이 수행되었습니다.
• 이 접근법은 hard imitation 없이 보상을 직접 최적화하고 잠재적으로 새로운 전략을 발견합니다.