[논문 리뷰] Meta-Model-Based Meta-Policy Optimization

T. HIRAOKA, Takahisa Imagawa외 4명|arXiv (Cornell University)|2020. 06. 04.

Reinforcement Learning in Robotics참고 문헌 41인용 수 4

한 줄 요약

이 논문은 Janner 등(2019)의 정리들을 메타-강화학습 설정으로 확장함으로써 이론적 성능 보장을 제공하는 모델기반 메타-RL 방법인 메타-모델 기반 메타-정책 최적화(M3PO)를 제안한다. M3PO는 메타-모델 내에서 분기된 롤아웃을 사용하여 샘플 효율성과 일반화 능력을 향상시키며, 특히 장기적 적응 및 방향 제어 작업에서 PEARL 및 M2PO와 같은 이전 방법들을 능가한다.

ABSTRACT

Model-based meta-reinforcement learning (RL) methods have recently been shown to be a promising approach to improving the sample efficiency of RL in multi-task settings. However, the theoretical understanding of those methods is yet to be established, and there is currently no theoretical guarantee of their performance in a real-world environment. In this paper, we analyze the performance guarantee of model-based meta-RL methods by extending the theorems proposed by Janner et al. (2019). On the basis of our theoretical results, we propose Meta-Model-Based Meta-Policy Optimization (M3PO), a model-based meta-RL method with a performance guarantee. We demonstrate that M3PO outperforms existing meta-RL methods in continuous-control benchmarks.

연구 동기 및 목표

• 강력한 실험적 성능에도 불구하고 모델 편향으로 인해 성능 보장이 부족한 모델기반 메타-RL 방법의 문제를 해결하기 위해.
• Janner 등(2019)의 모델기반 롤아웃에 대한 이론적 프레임워크를 부분관측 가능 마르코프 결정과정(POMDP) 설정에 적용하여 메타-RL 환경으로 확장하기 위해.
• 이론적 보장을 활용하여 다중작업 강화학습에서 샘플 효율성과 내구성을 향상시키는 실용적인 메타-RL 알고리즘을 설계하기 위해.
• 메타-모델을 통한 모델 적응이 장기적 및 다방향 제어 작업에서 메타-정책 성능을 향상시키는지 경험적으로 검증하기 위해.

제안 방법

• 이론적 분석을 가능하게 하기 위해 메타-RL 문제를 POMDP의 특수한 경우로 수식화하기 위해.
• Janner 등(2019)의 성능 보장 정리들을 메타-RL로 확장하여 분기된 롤아웃과 전체 모델 롤아웃을 비교하기 위해.
• 이론적 성능 경계를 갖는 실용적인 알고리즘인 M3PO를 제안하며, 이는 맥락 인식 메타-모델과 분기된 롤아웃을 사용하여 행동 계획을 수행한다.
• 훈련 안정성 향상과 장기적 성능 향상을 위해 메타-모델의 영향력을 점진적으로 적응시키는 스케줄링 전략을 구현하기 위해.
• 전이 동역학에 대해 앙상블 가우시안 모델을 사용하고, 메타-학습된 맥락을 활용한 모델 예측 제어(MPC)를 적용하여 빠른 적응을 이끌기 위해.
• 메타-모델 적응의 영향을 분리하기 위해 M3PO를 비적응 모델 기반 기준인 M2PO와 PEARL과 비교하기 위해.

실험 결과

연구 질문

• RQ1 표준 강화학습에서 모델기반 롤아웃의 이론적 성능 보장이 메타-RL 설정으로도 확장 가능한가?
• RQ2 메타-RL 환경에서 분기된 롤아웃이 전체 모델 롤아웃보다 더 엄격한 성능 보장을 제공하는가? 이는 분기된 롤아웃의 사용을 정당화하는가?
• RQ3 메타-모델을 통한 모델 적응이 장기적 및 다방향 제어 작업에서 메타-정책 성능을 크게 향상시키는가?
• RQ4 메타-모델의 점진적 적응이 훈련 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 샘플 효율성과 내구성 달성에 있어 메타-모델과 기본 모델 중 어느 것이 더 기여하는가?

주요 결과

• M3PO는 Halfcheetah-pier, Walker2D-randomparams, Humanoid-direc에서 장기 훈련에서 PEARL 및 M2PO를 능가하며, 최종 수익률은 유사하거나 더 높게 기록한다.
• 점진적 적응 스케줄링(M3PO-h)은 장기적 성능을 향상시키며, 세 환경 모두에서 PEARL의 성능을 맞추거나 초월한다.
• M3PO는 Humanoid-direc에서 방향 제어를 성공적으로 달성하지만, M2PO는 적응 가능한 동역학이 없어 '서있는' 정책을 학습하며 실패한다.
• M2PO는 초기 훈련 단계에서 더 낮은 TD-오차를 보이며, 일부 경우에서 비적응 모델이 더 안정적인 최적화를 제공함을 시사한다.
• 메타-모델의 사용은 Halfcheetah-fwd-bwd 및 방향 제어 작업에서 성능 향상에 크게 기여함을 입증하며, 동적 적응의 가치를 보여준다.
• 이론적 분석은 메타-RL 환경에서 분기된 롤아웃이 전체 모델 롤아웃보다 더 엄격한 성능 보장을 제공함을 확인하며, M3PO에서의 분기된 롤아웃 사용을 정당화한다.