[논문 리뷰] Backplay: "Man muss immer umkehren"

Cinjon Resnick, Roberta Răileanu외 4명|arXiv (Cornell University)|2018. 07. 18.

Reinforcement Learning in Robotics참고 문헌 47인용 수 25

한 줄 요약

Backplay는 단일 전문가 시연를 뒤집어 끝에서부터 초기 상태로 점차 뒤로 이동하면서 교육 곡선을 만드는 샘플 효율적인 강화학습 방법이다. 이는 에이전트가 전문가를 능가하고 Pommerman과 같은 희박한 보상 환경에서 최적의 정책을 학습하도록 한다. 표준 강화학습, 행동 클로닝, 역방향 교육 곡선 방법보다 더 적은 샘플로 훨씬 뛰어난 성능을 발휘한다.

ABSTRACT

Model-free reinforcement learning (RL) requires a large number of trials to learn a good policy, especially in environments with sparse rewards. We explore a method to improve the sample efficiency when we have access to demonstrations. Our approach, Backplay, uses a single demonstration to construct a curriculum for a given task. Rather than starting each training episode in the environment's fixed initial state, we start the agent near the end of the demonstration and move the starting point backwards during the course of training until we reach the initial state. Our contributions are that we analytically characterize the types of environments where Backplay can improve training speed, demonstrate the effectiveness of Backplay both in large grid worlds and a complex four player zero-sum game (Pommerman), and show that Backplay compares favorably to other competitive methods known to improve sample efficiency. This includes reward shaping, behavioral cloning, and reverse curriculum generation.

연구 동기 및 목표

• 희박한 보상을 가진 환경에서 모델-자유 강화학습의 샘플 효율성을 향상시키는 것.
• 단일 시연만을 사용하고 전문가 행동이나 환경의 가역성이 필요로 하지 않는 교육 곡선 기반 훈련 방법을 개발하는 것.
• 역방향 교육 곡선을 통해 열악한 전문가 시연자보다 뛰어난 성능을 내는 에이전트를 가능하게 하는 것.
• Backplay가 다른 교육 곡선 및 이민 학습 방법보다 우월하거나 劣 劣한 경우를 이론적이고 경험적으로 분석하는 것.
• Pommerman과 같은 복잡하고 확률적인 다중 에이전트 환경에서 Backplay의 일반화 및 강인성 탐색

제안 방법

• Backplay는 전문가 시연를 뒤집어 끝 상태를 초기 훈련 지점으로 삼아 교육 곡선을 구성한다.
• 에이전트는 시연의 끝에 가까운 상태에서 훈련을 시작하여 훈련 시간이 지남에 따라 점차 초기 상태 쪽으로 시작 지점을 뒤로 이동시킨다.
• 훈련은 트레이젝터리 끝 가까이 있는 쉬운 하위목표에서 시작하여, 에이전트가 더 이른 상태에 도달할 수 있게 되면서 점차 난이도가 증가한다.
• 이 방법은 전문가 행동이나 환경의 가역성이 필요로 하지 않으며, 단일 시연에서 얻은 상태 시퀀스만을 기반으로 한다.
• 교육 곡선은 전문가 트레이젝터리의 상태들을 뒤집힌 순서로 샘플링하여 초기 상태를 정의함으로써 구현된다.
• Backplay는 격자 환경과 Pommerman에서 표준 강화학습, 행동 클로닝, 보상 형태 조정, 역방향 교육 곡선 생성과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 Backplay는 표준 강화학습에 비해 어떤 유형의 환경에서 샘플 효율성 향상에 뚜렷한 기여를 하는가?
• RQ2 전문가 시연가 열악한 경우라도 Backplay가 최적의 정책을 학습시킬 수 있는가?
• RQ3 샘플 복잡도와 최종 성능 측면에서 Backplay는 보상 형태 조정, 행동 클로닝, 역방향 교육 곡선 생성과 어떻게 비교되는가?
• RQ4 교육 곡선 진행 속도와 초기 상태 분포는 Backplay의 학습 속도와 최종 정책 품질에 어떤 영향을 미치는가?
• RQ5 Backplay는 새로운 환경으로 일반화되는가? 어떤 조건에서 일반화에 실패하는가?

주요 결과

• Backplay는 희박한 보상을 가진 100맵 Pommerman 설정에서 강력한 성능을 보였으며, 표준 및 균일 기반 기준 방법들은 의미 있는 정책을 학습하지 못했다.
• 검토되지 않은 10개의 맵 세트에서 Backplay 에이전트는 1000판 중 416판을 승리했으며, 승률은 18.3%에서 85.3%까지 다양했다.
• Backplay 에이전트는 이전 Pommerman 에이전트, 포함 전문가 시연자 모두가 보여주지 않은 새로운 전략—폭탄 투척—을 학습했다.
• 희박한 보상 환경과 밀도 높은 보상 환경 모두에서, Backplay는 여러 시드와 환경에서 표준 강화학습, 행동 클로닝, 역방향 교육 곡선 방법보다 뛰어난 성능을 보였다.
• Backplay는 열악한 시연자에 대해서도 강인했으며, 승률과 전략적 혁신 측면에서 전문가 시연자보다 뛰어난 정책을 학습했다.
• 다양한 맵에서 훈련한 경우 Backplay는 Pommerman에서 강력한 일반화 성능를 보였지만, 훈련 시 사용된 맵 수가 부족한 경우 단순한 미로 환경에서는 일반화가 제한되었다.