[논문 리뷰] When to use parametric models in reinforcement learning?

Hado van Hasselt, Matteo Hessel외 1명|arXiv (Cornell University)|2019. 06. 12.

Reinforcement Learning in Robotics참고 문헌 39인용 수 62

한 줄 요약

본 논문은 파라메트릭 모델이 강화학습에서 경험 재생에 비해 이점을 제공하는 시점을 분석하고, 많은 조건에서 재생이 경쟁력 있거나 우수할 수 있음을 확인한다. 특히 모델을 이용해 상상된 전이(imagined transitions)만을 생성하여 모델-프리 업데이트를 수행하는 경우에 그렇다. Atari에서 이를 검증하고 계획 방향, 실패 모드, 안정성에 대해 논의한다.

ABSTRACT

We examine the question of when and how parametric models are most useful in reinforcement learning. In particular, we look at commonalities and differences between parametric models and experience replay. Replay-based learning algorithms share important traits with model-based approaches, including the ability to plan: to use more computation without additional data to improve predictions and behaviour. We discuss when to expect benefits from either approach, and interpret prior work in this context. We hypothesise that, under suitable conditions, replay-based algorithms should be competitive to or better than model-based algorithms if the model is used only to generate fictional transitions from observed states for an update rule that is otherwise model-free. We validated this hypothesis on Atari 2600 video games. The replay-based algorithm attained state-of-the-art data efficiency, improving over prior results with parametric models.

연구 동기 및 목표

• 강화학습에서 파라메트릭 모델의 이점과 한계를 경험 재생과 비교하여 명확히 규명한다.
• 파라메트릭 모델을 이용한 계획이 학습이나 정책 개선에 언제 도움이 되는지 특징화한다.
• 모델 기반 또는 재생 기반 계획의 안정성 및 실패 모드에 대한 이론적 및 경험적 지침을 제공한다.
• 대규모 Atari 실험에서 데이터 효율성을 검토하여 모델 기반과 재생 기반 접근법을 비교한다.

제안 방법

• 명시적 계획 단계를 통해 모델 기반과 재생 기반 학습을 통합하는 일반적인 모델 기반 RL 알고리즘(Algorithm 1)을 제시한다.
• 동등성 및 잠재적 실패 모드에 대한 이론적 논의를 통해 파라메트릭 모델과 재생을 비교한다.
• 행동을 위한 순방향 계획과 크레딧 할당을 위한 역방향 계획을 분석하고, 그리드 월드 환경에서의 실험적 시연을 포함한다.
• 재생에 따른 TD 업데이트의 안정성과 모델 기반 생성 전이에서의 불발생에 관한 명제들을 논의한다.
• 데이터 효율적인 규범에서 SimPLe(모델 기반)와 Rainbow DQN(재생 기반)의 대규모 평가를 Atari 2600 게임에서 수행한다.

실험 결과

연구 질문

• RQ1 파라메트릭 모델이 재생을 넘어 학습에 이점을 제공하는 시점은 어떤 조건에서 발생하는가?
• RQ2 학습 효율성과 안정성 측면에서 학습된 모델에 의한 순방향 계획과 역방향 계획은 어떻게 비교되는가?
• RQ3 재생 기반 방법이 데이터- 및 계산 효율적인 규범에서 모델 기반 접근법보다 복잡한 작업에서 우수한 성과를 낼 수 있는가?

주요 결과

• 재생 기반 학습은 Atari에서 데이터 효율성 측면에서 최첨단 수준의 성과를 달성할 수 있으며, 유사한 데이터 예산 하에서 기존 파라메트릭 모델 결과를 능가한다.
• 동등한 조건으로 비교했을 때 Rainbow DQN이 데이터 효율성 및 계산 측면에서 모델 기반 에이전트보다 우수하다는 결과를 보여주며, 모델 기반 우월성에 대한 가정에 도전한다.
• 학습된 모델을 이용한 역방향 계획은 특히 모델이 불완전할 때 크레딧 할당에 더 효과적일 수 있다.
• 행동을 위한 순방향 계획은 유용할 수 있지만 특정 맥락에서 재생보다 덜 안정적으로 이익을 가져오는 경향이 있으며, 불완전한 모델을 사용한 계획은 실제 전이로 사용될 경우 해로운 업데이트를 초래할 수 있다.
• 이론적으로 모델 기반 방법은 치명적 삼합으로 불안정할 수 있는 반면, 관측된 전이를 재생하는 방식은 일반적인 재생 분포 하에서 더 안정적이다.