[논문 리뷰] The Effect of Planning Shape on Dyna-style Planning in High-dimensional State Spaces

Gerhard Holland, Erik Talvitie외 1명|arXiv (Cornell University)|2018. 06. 05.

Reinforcement Learning in Robotics참고 문헌 22인용 수 26

한 줄 요약

이 논문은 높은 차원의 Atari 환경에서 다이나 스타일의 모델 기반 강화 학습에서 계획의 형태—특히 롤아웃의 길이—가 효과성에 미치는 영향을 조사한다. 긴, 적은 수의 롤아웃이 더 새로운 경험을 생성함으로써, 한 번의 롤아웃보다 샘플 효율성이 크게 향상되며, 이는 정확한 모델이든 학습된 모델이든 상관없이 성립한다. 이는 복잡한 도메인에서 모델 기반 강화 학습의 설계 요소로 계획의 형태가 핵심적임을 시사한다.

ABSTRACT

Dyna is a fundamental approach to model-based reinforcement learning (MBRL) that interleaves planning, acting, and learning in an online setting. In the most typical application of Dyna, the dynamics model is used to generate one-step transitions from selected start states from the agent's history, which are used to update the agent's value function or policy as if they were real experiences. In this work, one-step Dyna was applied to several games from the Arcade Learning Environment (ALE). We found that the model-based updates offered surprisingly little benefit over simply performing more updates with the agent's existing experience, even when using a perfect model. We hypothesize that to get the most from planning, the model must be used to generate unfamiliar experience. To test this, we experimented with the "shape" of planning in multiple different concrete instantiations of Dyna, performing fewer, longer rollouts, rather than many short rollouts. We found that planning shape has a profound impact on the efficacy of Dyna for both perfect and learned models. In addition to these findings regarding Dyna in general, our results represent, to our knowledge, the first time that a learned dynamics model has been successfully used for planning in the ALE, suggesting that Dyna may be a viable approach to MBRL in the ALE and other high-dimensional problems.

연구 동기 및 목표

• 고차원 상태 공간에서 다이나 스타일의 모델 기반 강화 학습의 성능에 영향을 미치는 계획의 형태—특히 롤아웃의 길이와 빈도—의 영향을 조사하는 것.
• Arcade Learning Environment (ALE)에서 모델 기반 계획이 학습된 동역학 모델을 사용할 경우 샘플 효율성 향상의 이점을 제공할 수 있는지 확인하는 것.
• 더 긴 롤아웃을 통해 낯선 경험을 생성하는 것이 모델 기반 계획의 이점을 실현하는 데 필수적인지 탐색하는 것.
• 다양한 가치 함수 학습자, 사전 학습된 모델, 온라인 학습 모델에 대해 계획의 형태의 강건성을 평가하는 것.
• 미래의 실무자들이 제한된 계산 자원으로 최적의 성능을 내기 위해 다이나 스타일 에이전트의 계획을 어떻게 구성할 것인지에 대한 실질적 지침을 제공하는 것.

제안 방법

• 최근 경험 버퍼의 상태에서 시뮬레이션된 롤아웃을 생성하기 위해 DQN 기반 에이전트에 동역학 모델을 적용하여 ALE에서 다이나 스타일 계획을 적용하였다.
• 일단의 롤아웃(표준 다이나-큐)과 긴, 적은 수의 롤아웃(예: 5–10단계)을 비교하여 그 영향을 평가하기 위해 여러 계획 형태를 비교하였다.
• 정확한 모델(기본 환경의 동역학)과 가치 함수와 함께 온라인으로 학습된 모델을 사용하여 다양한 모델 정확도 하에서 성능을 평가하였다.
• 표준 ALE 평가 프로토콜과 샘플 효율성 지표를 사용하여 6개의 Atari 게임(예: Ms. Pac-Man, Seaquest, Asterix)에서 성능을 평가하였다.
• 모델 신뢰도와 롤아웃 품질을 모니터링하여, 특히 긴 롤아웃에서 모델의 불완전성이 계획의 효율성에 어떻게 영향을 미치는지 이해하고자 하였다.
• 생성 모델(예: VAE 또는 GAN)을 사용하여 계획을 위해 방문하지 않은 상태를 식별하는 방법을 탐색하였지만, 이 작업에서는 이를 구현하지 않았다.

실험 결과

연구 질문

• RQ1 고차원의 Atari 환경에서 다이나 스타일의 모델 기반 강화 학습의 샘플 효율성에 영향을 미치는 계획의 형태—특히 롤아웃의 길이—가 유의미한가?
• RQ2 학습된 동역학 모델이 ALE에서 다이나 스타일 계획에 사용될 경우 샘플 효율성 향상의 이점을 제공할 수 있는가, 그리고 만약 그렇다면 어떤 조건에서인가?
• RQ3 모델 기반 계획의 주요 이점이 새로운, 낯선 경험을 생성하는 데 기인하는가, 그리고 이는 롤아웃 길이에 따라 달라지는가?
• RQ4 모델 품질에 따라 다이나 스타일 계획의 성능는 어떻게 변하는가, 그리고 최적의 계획 형태는 모델 신뢰도에 따라 달라지는가?
• RQ5 더 긴 롤아웃이 비완전한 모델을 효과적으로 활용할 수 있는가, 그리고 이는 한 번의 업데이트 수를 늘리는 것보다 더 효과적인가?

주요 결과

• 완벽한 모델이 있더라도 긴, 적은 수의 롤아웃(예: 5–10단계)이 한 번의 롤아웃보다 유의미하게 뛰어난 성능을 보였으며, 이는 계획의 형태가 핵심 설계 요소임을 시사한다.
• 한 번의 롤아웃을 사용할 경우 모델 기반 계획의 이점은 미미했으며, 생성된 경험은 에이전트의 기존 실재 경험과 너무 유사하여 추가 모델 프리 업데이트보다 개선이 거의 없었다.
• 완벽한 모델을 사용할 경우 긴 롤아웃은 샘플 효율성 향상이 크게 발생했으며, 이는 모델가 낯선, 다양한 경험을 생성할 때 그 가치가 최대로 발휘됨을 보여준다.
• 온라인으로 학습된 모델(불완전한 모델)을 사용할 경우에도 긴 롤아웃이 한 번의 롤아웃보다 더 좋은 성능을 보였으며, 세 게임(Asterix, Seaquest, Ms. Pac-Man)에서는 학습된 모델이 추가 업데이트를 받은 DQN보다 성능이 뛰어났다.
• 불완전한 모델을 사용할 경우 신뢰도 문제로 최적의 롤아웃 길이를 예측하기 어려웠으며, 이는 롤아웃 중 모델 정확도를 모니터링하는 적응형 계획 전략이 필요함을 시사한다.
• 이 결과들은 저자들의 지식에 비추어 볼 때, ALE에서 동역학 모델을 학습하고 계획하는 데서 샘플 복잡도의 이점이 처음으로 성공적으로 입증된 것으로, 고차원 도메인에서 다이나 스타일 접근의 타당성을 강조한다.