[논문 리뷰] ProMP: Proximal Meta-Policy Search

Jonas Rothfuss, Dennis Lee외 3명|arXiv (Cornell University)|2018. 10. 16.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

ProMP는 전업데이트 및 적응 정책 간의 통계적 거리 제어를 통해 사전 적응 행동에 대한 신용 할당을 향상시켜 안정적이고 효율적인 메타정책 최적화를 가능하게 하는 새로운 메타강화학습 알고리즘을 제안한다. 다양한 MuJoCo 환경에서 MAML 및 LVC-VPG와 같은 이전 방법들보다 뛰어난 샘플 효율성, 더 빠른 벽시계 기반 훈련 속도, 더 나은 점 渐진 성능을 달성한다.

ABSTRACT

Credit assignment in Meta-reinforcement learning (Meta-RL) is still poorly understood. Existing methods either neglect credit assignment to pre-adaptation behavior or implement it naively. This leads to poor sample-efficiency during meta-training as well as ineffective task identification strategies. This paper provides a theoretical analysis of credit assignment in gradient-based Meta-RL. Building on the gained insights we develop a novel meta-learning algorithm that overcomes both the issue of poor credit assignment and previous difficulties in estimating meta-policy gradients. By controlling the statistical distance of both pre-adaptation and adapted policies during meta-policy search, the proposed algorithm endows efficient and stable meta-learning. Our approach leads to superior pre-adaptation policy behavior and consistently outperforms previous Meta-RL algorithms in sample-efficiency, wall-clock time, and asymptotic performance.

연구 동기 및 목표

• 기울기 기반 메타강화학습에서 사전 적응 행동에 대한 부적절한 신용 할당 문제를 해결하여 샘플 효율성과 작업 식별 능력을 향상시키기 위해.
• 특히 신용 할당에서 편향-분산 트레이드오프를 고려할 때 메타정책 기울기 추정의 이론적 과제를 정식화하기 위해.
• 적응 과정 동안 정책 유사성을 유지함으로써 학습 동역학을 향상시키기 위한 안정적이고 효율적인 메타학습 알고리즘을 개발하기 위해.
• MAML 및 LVC-VPG와 같은 기존 방법의 한계를 극복하기 위해 저분산, 곡률 인식 보조 목적함수를 도입하기 위해.
• 다양한 연속 제어 환경에서 샘플 효율성, 벽시계 시간, 최종 성능 측면에서 일관된 향상을 달성하기 위해.

제안 방법

• 메타정책 기울기 추정에서 편향-분산 트레이드오프를 향상시키는 저분산 곡률(LVC) 보조 목적함수를 제안한다.
• KL 발산 또는 유사한 지표를 사용하여 전업데이트 정책과 적응 정책 간의 산란을 제약하는 프록시 업데이트 메커니즘을 도입한다.
• 사전 적응 행동에 대한 신용 할당을 이론적 분석을 통해 정식화하며, 이는 난이도 높거나 MAML 방식의 접근이 최적의 기울기를 도출하지 못함을 보여준다.
• PPO에서 영감을 얻은 신뢰 영역 유사 업데이트 전략을 사용하여 메타학습 중 안정적인 정책 업데이트를 보장한다.
• 메타업데이트 반복마다 여러 개의 내부 정책 기울기 단계를 적용하며, 안정성을 유지하기 위해 주의 깊게 클리핑 및 정규화를 수행한다.
• LVC 목적함수를 메타정책 최적화 루프에 통합하여 내부 적응과 외부 메타업데이트를 번갈아 수행한다.

실험 결과

연구 질문

• RQ1 사전 적응 정책 분포에 대한 부적절한 신용 할당은 메타강화학습 성능과 샘플 효율성에 어떤 영향을 미치는가?
• RQ2 기존 기울기 기반 메타강화학습 방법이 메타정책 기울기 추정에서 겪는 이론적 한계는 무엇인가?
• RQ3 저분산, 곡률 인식 보조 목적함수는 메타정책 업데이트의 안정성과 효율성을 향상시킬 수 있는가?
• RQ4 전업데이트 및 적응 정책 간의 통계적 거리를 제어하는 것이 더 나은 일반화와 더 빠른 수렴을 이끌 수 있는가?
• RQ5 ProMP는 다양한 연속 제어 과제에서 샘플 효율성, 벽시계 시간, 점 渐진 성능 측면에서 기존 방법을 능가할 수 있는가?

주요 결과

• ProMP는 PointEnv, HalfCheetahFwdBack, HumanoidRandDirec를 포함한 모든 평가된 MuJoCo 환경에서 MAML, LVC-VPG, MAML-TRPO보다 유의미하게 뛰어난 샘플 효율성을 확보한다.
• 환경 리셋 비용을 줄이기 위해 더 긴 궤적을 사용하고 리셋 횟수를 줄임으로써 MAML-TRPO가 비용이 많이 드는 공액 기울기 단계를 사용하는 것과 대비해 벽시계 기반 훈련 시간을 감소시킨다.
• HumanoidRandDirec와 AntRandGoal에서 ProMP는 MAML-TRPO를 능가하는 점 渐진 성능을 보이며, 더 뛰어난 일반화 및 적응 능력을 입증한다.
• LVC 보조 목적함수 덕분에 더 안정적이고 분산이 낮은 메타기울기 추정이 가능해져 다수의 내부 업데이트 단계를 신뢰성 있게 적용할 수 있다.
• 실험 결과에 따르면 ProMP의 프록시 업데이트 메커니즘이 적응 과정 중 정책 안정성을 유지하여 난이도 높은 신용 할당 방법에서 관찰되는 성능 붕괴를 방지함을 보여준다.
• AntRandGoal 및 WalkerRandParams와 같은 환경에서 ProMP는 더 적은 기울기 단계로 더 높은 평균 수익을 달성하여 데이터 효율성 향상과 파rameter 무작위화에 대한 강건성을 입증한다.