[논문 리뷰] A Game Theoretic Framework for Model Based Reinforcement Learning

Aravind Rajeswaran, Igor Mordatch외 1명|arXiv (Cornell University)|2020. 04. 16.

Reinforcement Learning in Robotics참고 문헌 67인용 수 43

한 줄 요약

논문은 모델 기반 강화학습(MBRL)을 정책 플레이어와 모델 플레이어 사이의 2인 게임으로 설정하고 Stackelberg-게임 기반 알고리즘(PAL과 MAL)을 통해 해결하며, 샘플 효율이 높고 고차원 과제에 확장 가능하다.

ABSTRACT

Model-based reinforcement learning (MBRL) has recently gained immense interest due to its potential for sample efficiency and ability to incorporate off-policy data. However, designing stable and efficient MBRL algorithms using rich function approximators have remained challenging. To help expose the practical challenges in MBRL and simplify algorithm design from the lens of abstraction, we develop a new framework that casts MBRL as a game between: (1) a policy player, which attempts to maximize rewards under the learned model; (2) a model player, which attempts to fit the real-world data collected by the policy player. For algorithm development, we construct a Stackelberg game between the two players, and show that it can be solved with approximate bi-level optimization. This gives rise to two natural families of algorithms for MBRL based on which player is chosen as the leader in the Stackelberg game. Together, they encapsulate, unify, and generalize many previous MBRL algorithms. Furthermore, our framework is consistent with and provides a clear basis for heuristics known to be important in practice from prior works. Finally, through experiments we validate that our proposed algorithms are highly sample efficient, match the asymptotic performance of model-free policy gradient, and scale gracefully to high-dimensional tasks like dexterous hand manipulation. Additional details and code can be obtained from the project page at https://sites.google.com/view/mbrl-game

연구 동기 및 목표

• 모델 기반 RL의 실용적 도전과제를 밝히고 추상화를 통해 알고리즘 설계를 통합한다.
• MBRL을 정책 최적화와 세계 모델 적합 사이의 두 플레이어 게임으로 규정한다.
• 연속 게임에서 균형을 계산하기 위한 Stackelberg 기반 알고리즘을 개발한다.
• 샘플 효율성 향상과 고차원 과제에 대한 확장성을 입증한다.
• 이전 MBRL 방법들을 연결하고 일반화하는 통찰을 제공한다.

제안 방법

• 모델 기반 RL은 두 플레이어 게임으로 정형화된다: 정책 플레이어는 학습된 모델에서 보상을 극대화하고, 모델 플레이어는 정책에 의해 유도된 상태 분포에서 예측 오차를 최소화한다.
• 안정적인 이중 최적화를 가능하게 하기 위해 Stackelberg 게임 구조를 채택하고 실용적인 기울기 기반 업데이트를 도출한다.
• 지휘자-추종자 두 가지 변형을 도입한다: Policy as Leader(PAL)와 Model as Leader(MAL), 각자 특정 중첩 최적화 스킴을 가진다.
• 일차 근사를 사용해 이중 최적화를 해결하고, PAL은 모델을 먼저 업데이트한 후 정책을, MAL은 정책을 먼저 업데이트한 후 모델을 반복적으로 갱신하도록 한다.
• 정책과 다이나믹스 모델을 신경망으로 표현하고, 강건성을 위해 앙상블과 엔트로피 정규화를 활용한다.

실험 결과

연구 질문

• RQ1 MBRL을 두 플레이어 게임으로 보는 것이 안정적이고 효율적인 학습 다이나믹스를 제공할 수 있는가?
• RQ2 Stackelberg 기반 PAL과 MAL 알고리즘이 이전의 MBRL 및 모델 프리 방법들에 비해 샘플 효율성과 확장성을 개선하는가?
• RQ3 동적 변화나 목표 분포가 변하는 환경에서 PAL과 MAL은 어떻게 비교되는가?
• RQ4 환경에서 균형의 질과 정책 최적화 간의 이론적 보장이 무엇인가?

주요 결과

• PAL과 MAL은 연속 제어 과제에서 안정적이고 거의 단조로운 학습을 나타낸다.
• PAL과 MAL은 샘플 효율성에서 기존의 모델 기반 및 모델 프리 방법들보다 우수하고 고차원 손재주 조작 과제까지 확장 가능하다.
• 연구된 과제에서 PAL이 MAL보다 더 빨리 학습하는 경향이 있지만, MAL은 목표 분포의 변화에 더 잘 대응한다.
• BR(Best Response)은 불안정으로 이어지고, GDA(경사 하강-상승)는 일부 설정에서 느리거나 불안정하다.
• 제시된 방법은 평가된 과제에서 모델 프리 정책 그래디언트 기준선과 비슷한 점근적 성능을 달성한다.
• 원칙 있는 게임 이론적 렌즈를 통해 보수성 및 데이터 집계와 연결함으로써 기존의 MBRL 접근법들을 통합하고 일반화한다.