[논문 리뷰] Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards

Yijie Guo, Jongwook Choi외 5명|arXiv (Cornell University)|2019. 07. 24.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

이 논문은 메모리 버퍼에서 다양한 과거 트래잭토리의 사례를 모방함으로써 희박한 보상 환경에서의 탐색을 향상시키는 메모리 기반 궤적 조건화 정책인 DTSIL을 제안한다. 다수의 시연 트래잭토리에 기반한 정책 학습과 어텐션을 활용한 시퀀스-투-시퀀스 모델링을 통해 DTSIL은 탄력적이고 탐색적인 행동을 가능하게 하여, 몬테줄라의 레비에이션과 피트패일과 같은 어려운 아케이드 게임에서 카운트 기반 탐색 및 자기 모방 학습보다 뛰어난 성능을 보이며, 전문가 지시나 임의의 리셋 없이도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Reinforcement learning with sparse rewards is challenging because an agent can rarely obtain non-zero rewards and hence, gradient-based optimization of parameterized policies can be incremental and slow. Recent work demonstrated that using a memory buffer of previous successful trajectories can result in more effective policies. However, existing methods may overly exploit past successful experiences, which can encourage the agent to adopt sub-optimal and myopic behaviors. In this work, instead of focusing on good experiences with limited diversity, we propose to learn a trajectory-conditioned policy to follow and expand diverse past trajectories from a memory buffer. Our method allows the agent to reach diverse regions in the state space and improve upon the past trajectories to reach new states. We empirically show that our approach significantly outperforms count-based exploration methods (parametric approach) and self-imitation learning (parametric approach with non-parametric memory) on various complex tasks with local optima. In particular, without using expert demonstrations or resetting to arbitrary states, we achieve the state-of-the-art scores under five billion number of frames, on challenging Atari games such as Montezuma's Revenge and Pitfall.

연구 동기 및 목표

• 기울기 업데이트가 느리고 에이전트가 국소 최적점에 갇히기 쉬운 희박한 보상 강화 학습 문제를 해결하기 위해.
• 기존 방법들이 몇몇 성공적인 트래잭토리에 과도하게 의존하여 단기적이고 열악한 행동을 유도하는 한계를 극복하기 위해.
• 메모리 버퍼에 저장된 다양한 과거 경험을 활용하여 샘플 효율성과 장기적 탐색 능력을 향상시키기 위해.
• 저장된 시연를 편집하고 보강하여 새로운 트래잭토리를 생성함으로써 새로운 상태를 발견하고 더 높은 보상을 달성할 수 있도록 에이전트를 가능하게 하기 위해.
• 전문가 지시나 임의의 상태 리셋을 사용하지 않고도 어려운 아케이드 게임에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 과거 성공적인 트래잭토리의 상태 시퀀스가 행동 생성을 위한 입력 컨텍스트로 사용되는 궤적 조건화 정책을 사용한다.
• 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스 모델이 시연 트래잭토리를 새로운 행동 시퀀스로 번역하도록 학습하여, 확률적이고 탄력적인 정책 행동을 가능하게 한다.
• 다양한 트래잭토리를 메모리 버퍼에 저장하고, 이에 기반해 정책를 학습함으로써 가장 자주 방문되는 경로를 초월한 탐색을 촉진한다.
• 메모리 버퍼는 과거 에피소드의 전체 트래잭토리를 저장하며, 정책는 이러한 트래잭토리 중 어느 것도 조건으로 삼아 새로운 탐색적 행동을 생성한다.
• 트래잭토리 수준의 시뮬레이션 기반 탐색과 모방 학습을 조합하여, 드문 방문이지만 잠재적으로 높은 보상을 줄 수 있는 상태로 에이전트를 유도한다.
• 고수준 정책이 버퍼 트래잭토리를 기반으로 하위 목표를 제안하고, 저수준 정책이 이를 달성하기 위해 행동을 실행하는 계층적 변형도 탐색한다. 이는 새로운 환경에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 메모리 버퍼에서 다양한 과거 트래잭토리를 모방함으로써, 표준 카운트 기반 또는 자기 모방 학습 대비 희박한 보상 환경에서의 탐색이 향상되는가?
• RQ2 다양한 트래잭토리에 기반한 정책 조건화가 단기적 행동을 줄이고, 열악한 정책에 조기 수렴하는 것을 방지하는가?
• RQ3 어텐션을 갖춘 시퀀스-투-시퀀스 모델이 저장된 시연를 편집함으로써 효과적으로 새로운 높은 보상 트래잭토리를 생성할 수 있는가?
• RQ4 에이전트가 전문가 지시나 리셋-상태 메커니즘 없이도 새로운 환경에 얼마나 잘 일반화되는가?
• RQ5 몬테줄라의 레비에이션과 피트패일과 같은 국소 최적점이 존재하는 장기적 태스크에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• DTSIL은 50억 프레임에서 몬테줄라의 레비에이션과 피트패일에서 최신 기술 수준 성능을 달성하며, 전문가 지시나 임의의 리셋을 사용하지 않았다.
• 다양한 트래잭토리를 활용함으로써 샘플 효율성과 탐색 능력이 크게 향상되어, 이전 최신 기술 수준 성능가들이 달성하지 못한 피트패일의 왼쪽 끝 방에 도달하고 많은 다이아몬드를 수집하는 데 성공했다.
• 랜덤 미로 환경에서 계층적 DTSIL 변형은 새로운 미로에 일반화되어, PPO+EXP보다 더 높은 평균 에피소드 보상 수준을 달성했다.
• 국소 최적점이 존재하고 확률적 동역학을 갖는 여러 작업에서 DTSIL은 카운트 기반 탐색 및 자기 모방 학습을 모두 능가했다.
• 다양한 트래잭토리 조건화의 사용은 더 나은 장기적 수익을 이끌어내며, 열악한 정책에 조기 수렴하는 것을 방지한다.
• 실험 결과는 이 방법이 장기적 수평에서의 추론과 희박한 보상을 요구하는 환경에서 견고하고 효과적임을 보여준다.