[논문 리뷰] Rank the Episodes: A Simple Approach for Exploration in Procedurally-Generated Environments

Daochen Zha, Wenye Ma외 3명|arXiv (Cornell University)|2021. 01. 20.

Reinforcement Learning in Robotics참고 문헌 87인용 수 13

한 줄 요약

이 논문은 상태 재사용이 드문 절차적 환경에서 전통적인 내재 보상 방법이 실패하는 상황에서 작동하는 새로운 에피소드 수준 탐색 방법인 RAPID를 제안한다. RAPID는 커버리지와 장기적 탐색 품질을 기반으로 전체 에피소드를 순위 매긴다. 높은 점수를 받은 에피소드는 순위 버퍼에 저장되고, 이는 타깃 행동을 모방하는 강화 학습 기법을 통해 재현된다. 이로 인해 MiniGrid, MiniWorld, MuJoCo 벤치마크에서 최신 내재 보상 방법보다 뛰어난 샘플 효율성과 최종 성능을 달성한다.

ABSTRACT

Exploration under sparse reward is a long-standing challenge of model-free reinforcement learning. The state-of-the-art methods address this challenge by introducing intrinsic rewards to encourage exploration in novel states or uncertain environment dynamics. Unfortunately, methods based on intrinsic rewards often fall short in procedurally-generated environments, where a different environment is generated in each episode so that the agent is not likely to visit the same state more than once. Motivated by how humans distinguish good exploration behaviors by looking into the entire episode, we introduce RAPID, a simple yet effective episode-level exploration method for procedurally-generated environments. RAPID regards each episode as a whole and gives an episodic exploration score from both per-episode and long-term views. Those highly scored episodes are treated as good exploration behaviors and are stored in a small ranking buffer. The agent then imitates the episodes in the buffer to reproduce the past good exploration behaviors. We demonstrate our method on several procedurally-generated MiniGrid environments, a first-person-view 3D Maze navigation task from MiniWorld, and several sparse MuJoCo tasks. The results show that RAPID significantly outperforms the state-of-the-art intrinsic reward strategies in terms of sample efficiency and final performance. The code is available at https://github.com/daochenzha/rapid

연구 동기 및 목표

• 상태 재사용이 드문 절차적 환경에서 희박한 보상 탐색 문제를 해결하기 위해.
• 반복적인 상태 방문에 의존하는 상태 수준의 내재 보상(예: 카운트 기반 또는 궁금증 기반)의 한계를 극복하기 위해.
• 에피소드 수준의 탐색 점수가 좋은 탐색 행동을 식별하는 데 더 일반적이고 효과적인 기준이 될 수 있는지 조사하기 위해.
• 에이전트가 과거 성공적인 탐색 에피소드를 학습하고 재현할 수 있도록 실용적인 방법을 개발하기 위해.
• 이 방법이 연속 상태/행동 공간과 복잡한 환경으로까지 일반화 가능한지 확인하기 위해.

제안 방법

• RAPID는 이중 점수 기반 메커니즘을 사용하여 각 에피소드를 평가한다: 에피소드별 커버리지 점수와 상태 방문 다양성에 기반한 장기적 탐색 점수.
• 높은 점수를 받은 에피소드는 순위 버퍼에 저장되며, 이는 가장 효과적인 탐색 경로의 정제된 집합을 유지한다.
• 에이전트는 순위 버퍼에 있는 경로를 모방함으로써 성공적인 탐색 패턴을 재현하도록 학습한다.
• 외재적 보상에 의존하지 않기 때문에, 희박한 보상 환경에 적합하다.
• 순위 버퍼는 점진적으로 업데이트되며, 새로운 에피소드가 평가되고 상위 성능을 기록한 것들만 유지된다.
• 이 방법은 모듈러하게 설계되어 행동 복제 외의 다양한 이mitation learning 기법과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 절차적 환경에서 상태 재사용이 극히 적은 상황에서, 에피소드 수준의 탐색 점수가 상태 수준의 내재 보상보다 더 견고하고 일반적인 기준이 될 수 있는가?
• RQ2 순위 버퍼에서 높은 점수를 받은 에피소드를 모방하면, 희박한 보상, 절차적 강화 학습 환경에서 샘플 효율성과 최종 성능이 향상되는가?
• RQ3 RAPID는 3D 탐색 및 MuJoCo 작업과 같은 연속 상태 및 행동 공간을 가진 환경으로 일반화 가능한가?
• RQ4 RAPID는 최신 내재 보상 방법과 비교해 학습 속도와 최종 성능 면에서 어떻게 성능을 내는가?
• RQ5 버퍼 크기와 선택 전략이 방법의 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• RAPID는 MiniGrid와 MiniWorld를 포함한 여러 절차적 환경에서 최신 내재 보상 방법보다 샘플 효율성 면에서 뚜렷한 승리를 거두었다.
• MiniWorld 3D 탐색 작업에서 RAPID는 베이스라인 방법보다 더 높은 최종 성능과 더 빠른 학습 곡선을 달성했다.
• 희박한 MuJoCo 작업 환경에서 RAPID는 외재적 보상 없이도 강력한 성능을 보였으며, 내재 탐색 능력이 뛰어나다는 것을 입증했다.
• 절단 실험 결과, 순위 버퍼 메커니즘이 성능에 결정적인 영향을 미치며, 더 큰 버퍼는 샘플 효율성을 희생하면서까지 안정성을 향상시킨다.
• 이 방법은 연속 제어 작업으로도 잘 일반화되어, 이산 환경 외에도 적용 가능함을 확인했다.
• 실험 결과, 절차적 환경에서 상태 재사용이 극히 적은 상황에서는 상태 수준의 낯설음보다 에피소드 수준의 점수가 더 효과적임을 입증했다.