[논문 리뷰] On the role of planning in model-based deep reinforcement learning

Jessica B. Hamrick, Abram L. Friesen외 8명|arXiv (Cornell University)|2021. 05. 03.

Reinforcement Learning in Robotics참고 문헌 68인용 수 26

한 줄 요약

이 논문은 다양한 환경에서 MuZero를 분석함으로써 모델 기반 딥 강화학습(MBRL)에서 계획의 역할을 조사한다. 연구 결과, 계획은 학습 효율성과 데이터 품질을 크게 향상시키며, 몬테카를로 롤아웃을 사용하는 얕은 트리가 매우 효과적이며, 계획만으로는 강한 일반화를 달성하기에는 부족하다는 것을 발견했다.

ABSTRACT

Model-based planning is often thought to be necessary for deep, careful reasoning and generalization in artificial agents. While recent successes of model-based reinforcement learning (MBRL) with deep function approximation have strengthened this hypothesis, the resulting diversity of model-based methods has also made it difficult to track which components drive success and why. In this paper, we seek to disentangle the contributions of recent methods by focusing on three questions: (1) How does planning benefit MBRL agents? (2) Within planning, what choices drive performance? (3) To what extent does planning improve generalization? To answer these questions, we study the performance of MuZero (Schrittwieser et al., 2019), a state-of-the-art MBRL algorithm with strong connections and overlapping components with many other MBRL algorithms. We perform a number of interventions and ablations of MuZero across a wide range of environments, including control tasks, Atari, and 9x9 Go. Our results suggest the following: (1) Planning is most useful in the learning process, both for policy updates and for providing a more useful data distribution. (2) Using shallow trees with simple Monte-Carlo rollouts is as performant as more complex methods, except in the most difficult reasoning tasks. (3) Planning alone is insufficient to drive strong generalization. These results indicate where and how to utilize planning in reinforcement learning settings, and highlight a number of open questions for future MBRL research.

연구 동기 및 목표

• 모델 기반 딥 강화학습(MBRL) 에이전트의 성공에 계획이 어떻게 기여하는지 이해하는 것.
• 트리 깊이나 롤아웃 전략과 같은 계획의 구성 요소 중 성능에 가장 큰 영향을 미치는 요소를 특정하는 것.
• 계획이 예측할 수 없는 환경 간의 강력한 일반화를 가능하게 하는지 평가하는 것.
• MuZero와 같은 최신 MBRL 알고리즘에서 계획의 기여를 다른 요소들(예: 세계 모델 학습, 정책 최적화, 탐색)과 분리하여 분석하는 것.

제안 방법

• 저자는 최신의 MBRL 알고리즘인 MuZero에 대해 체계적인 아블레이션과 간섭 실험을 수행한다. MuZero는 다른 MBRL 방법과 광범위한 아키텍처적 및 기능적 유사성을 가진다.
• 제어 과제, 아케이드 게임, 9x9 오목에서 계획 구성 요소를 수정하여 실험한다. 이는 트리 깊이, 롤아웃 전략(Monte-Carlo 대비 값 기반 지도된 전략), 계획 빈도 등을 포함한다.
• 성능 평가 기준은 학습 효율성, 최종 에이전트 성능, 그리고 예측할 수 없는 환경으로의 일반화 능력이다.
• 모델 학습, 정책 최적화, 탐색과의 영향을 분리하기 위해 통합된 프레임워크를 사용한다.
• 간섭 조치로는 계획 기능을 완전히 비활성화하거나, 복잡한 계획을 얕은 트리로 대체하거나, 학습된 값 추정 대신 무작위 롤아웃을 사용하는 것이 포함된다.
• 연속 제어, 이산 제어, 체스판 게임 등 다양한 벤치마크를 통해 도메인 간 견고성을 평가한다.

실험 결과

연구 질문

• RQ1 모델 기반 딥 강화학습에서 계획은 학습 과정에 어떻게 기여하는가?
• RQ2 트리 깊이나 롤아웃 전략과 같은 계획 메커니즘의 어떤 요소가 성능에 가장 큰 영향을 미치는가?
• RQ3 계획은 분포 외 환경으로의 일반화를 어느 정도 향상시키는가?
• RQ4 더 단순한 계획 메커니즘은 더 복잡한 것들과 동등한 성능을 낼 수 있으며, 어떤 조건에서 그러한 성능을 내는가?

주요 결과

• 계획은 학습 단계에서 가장 유익하며, 정책 업데이트를 향상시키고 훈련에 유용한 데이터 분포를 형성한다.
• 몬테카를로 롤아웃을 사용하는 얕은 트리는 복잡한 계획 방법과 비교해 유사한 성능을 내지만, 가장 도전적인 추론 과제에서는 떨어진다.
• 일반화를 위해 계획만으로는 충분하지 않으며, 세계 모델의 용량이나 탐색 전략 등 다른 요소들이 핵심적임을 시사한다.
• 계획의 성능 향상은 초기 학습 단계에서 가장 두드러지며, 이는 강력한 신용 할당 및 데이터 증강 메커니즘으로서의 기능을 의미한다.
• 9x9 오목처럼 깊은 추론이 필요한 환경에서는 더 정교한 계획 전략이 단순한 롤아웃보다 유의미한 이점을 제공한다.
• 결과적으로 계획의 주요 가치가 내재된 추론 능력보다는 샘플 효율성 향상과 정책 학습 개선에 있음을 강조한다.