[논문 리뷰] Self-Imitation Learning via Trajectory-Conditioned Policy for Hard-Exploration Tasks

Yijie Guo, Jongwook Choi외 4명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics참고 문헌 65인용 수 13

한 줄 요약

이 논문은 전문가 지시 없이 어려운 탐색 과제에서 탐색 성능을 향상시키기 위해 다양한 과거 트랙젝터리를 기반으로 하는 정책을 제안한다. 이는 자기 반복 학습(self-imitation learning)을 통해 다양한 과거 행동을 모방함으로써 탐색의 다양성을 높이며, 극단적으로 보상이 희박한 환경에서도 최적의 행동을 찾는 데 기여한다. 단일 고보상 에피소드에 집중하는 대신 다양한 성공적인 행동 양식을 학습함으로써 이론적 한계를 피하고, 몬테주마의 레비에이션(Montezuma’s Revenge)에서 20,000점 이상의 새로운 SOTA 점수를 달성한다.

ABSTRACT

Imitation learning from human-expert demonstrations has been shown to be greatly helpful for challenging reinforcement learning problems with sparse environment rewards. However, it is very difficult to achieve similar success without relying on expert demonstrations. Recent works on self-imitation learning showed that imitating the agent's own past good experience could indirectly drive exploration in some environments, but these methods often lead to sub-optimal and myopic behavior. To address this issue, we argue that exploration in diverse directions by imitating diverse trajectories, instead of focusing on limited good trajectories, is more desirable for the hard-exploration tasks. We propose a new method of learning a trajectory-conditioned policy to imitate diverse trajectories from the agent's own past experience and show that such self-imitation helps avoid myopic behavior and increases the chance of finding a globally optimal solution for hard-exploration tasks, especially when there are misleading rewards. Our method significantly outperforms existing self-imitation learning and count-based exploration methods on various hard-exploration tasks with local optima. In particular, we report a state-of-the-art score of more than 20,000 points on Montezuma's Revenge without using expert demonstrations or resetting to arbitrary states.

연구 동기 및 목표

• 기존 자기 반복 학습이 지역 최적점에 갇히는 이른바 '이른 시기 최적화' 행동을 보이는 희박한 보상, 어려운 탐색 환경에서의 과제를 해결하기 위해.
• 가장 높은 성능을 보인 에피소드 외에도 다양한 과거 트랙젝터리를 모방할 수 있도록 함으로써 탐색의 다양성을 향상시키기 위해.
• 밀도 높은 탐색 상황에서 전문가 지시나 환경 리셋에 의존하는 것을 줄이기 위해.
• 보상가이드가 잘못되거나 局부적 최적점이 존재하는 환경에서 전역 최적 정책을 발견할 가능성을 높이기 위해.

제안 방법

• 특정 과거 트랙젝터리에 따라 행동을 조절하는 트랙젝터리 조건부 정책을 학습함으로써 다양한 성공적인 행동 양식을 모방할 수 있도록 한다.
• 에이전트의 경험 버퍼에서 다양한 고수익 트랙젝터리를 선별하고 저장하여 향후 모방에 활용한다.
• 각 선택된 트랙젝터리에서 나타난 행동을 모방하도록 유도하는 유사도 손실을 사용해 정책을 학습한다.
• 이러한 다양한 트랙젝터리에 대해 정책을 주기적으로 피지컬 튜닝함으로써 상태공간의 보다 광범위한 커버리지가 가능해지도록 탐색을 향상시킨다.
• 에이전트가 반복적으로 같은 좁은 경로를 재학습하는 것을 방지함으로써 국소 최적점에 과도하게 기울어지는 것을 방지한다.
• 전문가 지시나 환경 리셋이 필요 없으며, 에이전트의 자체 경험에만 의존한다.

실험 결과

연구 질문

• RQ1 최고 성능의 트랙젝터리 외에도 다양한 트랙젝터리를 모방함으로써 자기 반복 학습의 성능을 향상시킬 수 있는가?
• RQ2 트랙젝터리 조건부 모방은 지역 최적점이 존재하는 희박한 보상 환경에서 이른 시기 최적화 행동을 줄일 수 있는가?
• RQ3 이 방법은 전문가 데이터 없이 몬테주마의 레비에이션과 같은 어려운 탐색 과제에서 최고 성능을 달성할 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 이 방법은 카운트 기반 탐색 및 표준 자기 반복 학습 기반 방법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 지역 최적점이 존재하는 어려운 탐색 과제에서 표준 자기 반복 학습 및 카운트 기반 탐색 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 전문가 지시나 환경 리셋 없이 몬테주마의 레비에이션에서 20,000점 이상의 새로운 SOTA 점수를 달성했다.
• 단일 고보상 경로에 집중하는 대신 다양한 트랙젝터리를 통해 탐색을 확산시킴으로써 이른 시기 최적화 행동을 줄였다.
• 트랙젝터리 조건부 정책의 사용은 오해의 소지가 있는 보상이 존재하는 환경에서 더 효과적이고 안정적인 학습을 가능하게 했다.
• 기준 방법 대비 이 방법은 희박한 보상 환경에서 더 뛰어난 샘플 효율성과 강건성을 보였다.