[논문 리뷰] Imagination-Augmented Agents for Deep Reinforcement Learning

Théophane Weber, Sébastien Racanière외 13명|arXiv (Cornell University)|2017. 07. 19.

Reinforcement Learning in Robotics인용 수 210

한 줄 요약

Imagination-Augmented Agents (I2As)가 학습된 환경 모델에서 상상된 미래를 활용하여 모델-프리 강화 학습을 보강하고, 데이터 효율성과 모델 불완전성에 대한 강인성을 향상시키며 Sokoban과 MiniPacman에서 시연되었다.

ABSTRACT

We introduce Imagination-Augmented Agents (I2As), a novel architecture for deep reinforcement learning combining model-free and model-based aspects. In contrast to most existing model-based reinforcement learning and planning methods, which prescribe how a model should be used to arrive at a policy, I2As learn to interpret predictions from a learned environment model to construct implicit plans in arbitrary ways, by using the predictions as additional context in deep policy networks. I2As show improved data efficiency, performance, and robustness to model misspecification compared to several baselines.

연구 동기 및 목표

• 데이터 효율성과 일반화 성능을 향상시키기 위해 모델-프리 RL과 모델-기반 RL의 결합을 고무한다.
• 불완전한 환경 예측을 해석하는 학습 가능한 imagination 메커니즘을 개발한다.
• 모델 기반 롤아웃을 모델-프리 정책과 융합하는 엔드-투-엔드 아키텍처를 설계한다.
• 모델 잘못 명시화에 대한 강인성을 평가하고 계획 기반 기준과 비교한다.

제안 방법

• Rollout 정책의 행동에 조건화된 환경 모델을 롤아웃하는 imagination core (IC)를 도입한다.
• 상상된 궤적을 rollout encoder로 인코딩한 다음, 이를 imagination code c_ia로 집계한다.
• c_ia를 모델-프리 경로의 특징과 결합하여 최종 정책 및 가치 추정치를 생성한다.
• 환경 모델을 사전 학습하고 에이전트를 A3C로 엔드투엔드 학습하며, imagination-aware 정책을 rollout 정책으로 증류하는 보조 손실을 추가로 사용한다.
• 다양한 길이의 롤아웃(unrolling steps)을 사용하여 정보 이득과 계산 효율성을 평가한다.
• 기준선(표준 모델-프리, copy-model) 대비 I2A를 비교하고 불완전한 모델 하에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 학습된 환경 모델에서의 상상된 궤적을 통합하는 것이 모델-프리 기준선에 비해 데이터 효율성과 성능을 향상시키는가?
• RQ2 I2As가 모델 오차 누적으로 인한 문제없이 불완전한 환경 모델을 강건하게 활용할 수 있는가?
• RQ3 상상 깊이(rollout 길이)가 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ4 성능 및 필요한 모델 쿼리 측면에서 I2A가 계획 방법(예: MCTS)과 어떻게 비교되는가?
• RQ5 I2A 아키텍처가 작업과 환경 전반에 걸쳐 얼마나 일반화될 수 있는가?

주요 결과

상자	I2A (%)	Standard (%)
1	99.5	97
2	97	87
3	92	72
4	87	60
5	77	47
6	66	32
7	53	23

• I2A는 Sokoban에서 표준 모델-프리 에이전트를 능가하여 레벨의 최대 85%를 해결하는 반면 기준은 60% 미만이다.
• 용량이 증가하면 표준 기준은 대략 70%의 레벨에 도달하지만 여전히 I2A 아래이다.
• 더 긴 상상(롤아웃) 길이가 성능을 향상시키며, 5-step 롤아웃은 Sokoban에서 해결된 레벨이 >90%에 도달한다.
• 환경 모델이 불완전하거나 노이즈가 있어도 I2A는 여전히 효과적이며, 모델 명세 실패 하에서 인코더-프리 몬테카를로 기준선을 능가한다.
• I2A는 데이터 효율성을 보여주며 환경-모델 사전 학습을 고려할 때 약 3e8 프레임 이후에 레벨을 해결하고, 사전 학습은 <1e8 프레임이다.
• MiniPacman에서 단일 공유 환경 모델은 I2A가 희소 보상 과제 전반에서 표준 및 copy-model 기준선을 능가하게 한다.