[논문 리뷰] Procedural Generalization by Planning with Self-Supervised World Models

Ankesh Anand, Jacob Walker외 6명|arXiv (Cornell University)|2021. 11. 02.

Reinforcement Learning in Robotics참고 문헌 76인용 수 4

한 줄 요약

이 논문은 MuZero를 사용한 모델 기반 강화학습에서 자기지도 세계 모델을 활용해 절차적 및 작업 일반화를 조사한다. 계획, 자기지도 표현 학습, 절차적 데이터 다양성의 조합이 Procgen에서 최고 수준의 일반화 성능과 데이터 효율성을 달성하지만, Meta-World에서 작업 일반화에는 이러한 이점이 제한됨을 보여주며, 이는 새로운 보상 함수로의 전이를 위해 더 나은 탐색 전략이 필요할 수 있음을 시사한다.

ABSTRACT

One of the key promises of model-based reinforcement learning is the ability to generalize using an internal model of the world to make predictions in novel environments and tasks. However, the generalization ability of model-based agents is not well understood because existing work has focused on model-free agents when benchmarking generalization. Here, we explicitly measure the generalization ability of model-based agents in comparison to their model-free counterparts. We focus our analysis on MuZero (Schrittwieser et al., 2020), a powerful model-based agent, and evaluate its performance on both procedural and task generalization. We identify three factors of procedural generalization -- planning, self-supervised representation learning, and procedural data diversity -- and show that by combining these techniques, we achieve state-of-the art generalization performance and data efficiency on Procgen (Cobbe et al., 2019). However, we find that these factors do not always provide the same benefits for the task generalization benchmarks in Meta-World (Yu et al., 2019), indicating that transfer remains a challenge and may require different approaches than procedural generalization. Overall, we suggest that building generalizable agents requires moving beyond the single-task, model-free paradigm and towards self-supervised model-based agents that are trained in rich, procedural, multi-task environments.

연구 동기 및 목표

• 모델 기반 에이전트, 특히 MuZero의 일반화 능력을 모델-free 기반과 비교해 체계적으로 평가하는 것.
• 자기지도 표현 학습과 절차적 데이터 다양성이 모델 기반 강화학습에서의 일반화를 향상시키는지 조사하는 것.
• 모델-free 강화학습에서 성공한 요소들(예: 자기지도 학습, 데이터 다양성)이 모델 기반 에이전트로도 전이되는지 평가하는 것.
• 절차적 일반화를 가능하게 하는 핵심 요소를 특정하고, 이들이 작업 일반화에서 가지는 한계를 이해하는 것.

제안 방법

• 세계 모델의 품질을 향상시키기 위해 MuZero를 수정하여 자기지도 픽셀 재구성 문제를 사전 훈련 목표로 통합한다.
• Procgen과 Meta-World에서 다양한 환경 설정에서 훈련하여 절차적 데이터 증강을 통해 데이터 다양성을 높인다.
• MuZero에서 몬테카를로 트리 탐색(MCTS)을 적용해 내부 세계 모델을 사용해 장기적 결정을 내리는 계획 기능을 구현한다.
• 자기지도 학습 유무, 데이터 다양성 수준를 변화시킨 실험과 제어된 모델-free Q-러닝 기반 베이스라인과의 비교를 위한 분석 실험을 수행한다.
• 표준화된 벤치마크를 사용해 절차적 일반화(미사용 환경 설정)와 작업 일반화(미사용 보상 함수)에서 성능을 평가한다.
• 테스트 작업에서 에이전트를 피지컬 튜닝하여 전이 성능과 누적 회귀를 측정함으로써 데이터 효율성과 전이 가능성 평가

실험 결과

연구 질문

• RQ1 자기지도 표현 학습은 MuZero와 같은 모델 기반 에이전트의 절차적 일반화를 향상시키는가?
• RQ2 절차적 데이터 다양성은 모델 기반 에이전트의 일반화 능력과 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 MuZero의 계획 기능이 절차적 및 작업 일반화 환경에서 모델-free 방법보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 Procgen에선 성공한 자기지도 학습과 데이터 다양성이 Meta-World에서의 작업 전이에는 제한된 성과를 보이는 이유는 무엇인가?
• RQ5 현재 모델 기반 에이전트가 새로운 보상 함수로 지식을 전이하는 데 있어 핵심적인 한계는 무엇인가?

주요 결과

• 자기지도 표현 학습과 절차적 데이터 다양성을 통합한 MuZero는 Procgen과 ML-1, ML-45 절차적 일반화 벤치마크에서 최고 수준의 성능을 달성한다.
• 계획, 자기지도 학습, 데이터 다양성의 조합은 놀라운 데이터 효율성을 이끌어내어 절차적 일반화에서 광범위한 훈련 데이터가 필요로 하는 것을 줄인다.
• 자기지도 사전 훈련은 Procgen에서 MuZero의 성능과 데이터 효율성을 향상시키지만, Meta-World의 작업 일반화에서는 측정 가능한 이점을 제공하지 못한다.
• MuZero는 Meta-World에서 새로운 작업에 대해 약한 정상 전이 성능를 보이며, 처음부터 훈련하는 것보다 우수하지만, 자기지도 학습으로 이 성능이 향상되지 않는다.
• 작업 일반화에서 자기지도 학습의 이점이 없음을 고려하면, 좋은 세계 모델만으로는 효과적인 전이가 불가능하며, 특히 보상 함수가 알려지지 않은 경우 더욱 그렇다.
• 저자들은 새로운 작업에서의 열악한 탐색, 편향된 세계 모델, 제한된 메모리(15 프레임)가 작업 일반화를 저해할 수 있다고 가설을 제시하며, 개선된 온라인 탐색 전략이 필요할 것이라 주장한다.