[논문 리뷰] On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning

Alireza Fallah, Kristian Georgiev외 2명|arXiv (Cornell University)|2020. 02. 12.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 테스트 시 간접적 인과적 정책 그래디언트를 사용하는 모델에 종속되지 않은 메타-강화학습을 위한 새로운 방법인 확률적 그래디언트 메타강화학습(Stochastic Gradient Meta-Reinforcement Learning, SG-MRL)을 제안한다. 이는 메타강화학습에 대해 처음으로 수렴 보장을 확립하며, 제어된 배치 크기와 학습률을 통해 $\epsilon$-일阶 정류점에 도달함을 보여, 이전 방법에서 발생하는 편향과 분산 문제를 해결한다.

ABSTRACT

We consider Model-Agnostic Meta-Learning (MAML) methods for Reinforcement Learning (RL) problems, where the goal is to find a policy using data from several tasks represented by Markov Decision Processes (MDPs) that can be updated by one step of stochastic policy gradient for the realized MDP. In particular, using stochastic gradients in MAML update steps is crucial for RL problems since computation of exact gradients requires access to a large number of possible trajectories. For this formulation, we propose a variant of the MAML method, named Stochastic Gradient Meta-Reinforcement Learning (SG-MRL), and study its convergence properties. We derive the iteration and sample complexity of SG-MRL to find an $\\epsilon$-first-order stationary point, which, to the best of our knowledge, provides the first convergence guarantee for model-agnostic meta-reinforcement learning algorithms. We further show how our results extend to the case where more than one step of stochastic policy gradient method is used at test time. Finally, we empirically compare SG-MRL and MAML in several deep RL environments.

연구 동기 및 목표

• 기존의 모델에 종속되지 않은 메타강화학습 방법에서 이론적 수렴 보장의 부족을 해결한다.
• 실제 구현에서 사용되는 확률적 정책 그래디언트 업데이트에서 지속적인 편향과 분산 문제를 해결하여 일阶 최적성에 정확히 수렴하지 못하는 문제를 해결한다.
• 테스트 시점에 확률적 정책 그래디언트를 사용하는 MAML의 변형을 수립하고 분석함으로써 이론과 실무를 일치시킨다.
• 테스트 시점의 단일 스텝 및 다중 스텝 확률적 정책 그래디언트 업데이트에 대한 수렴 분석을 제공한다.
• 2D 내비게이션 및 MuJoCo 로코모션 환경에서 방법을 실증적으로 검증한다.

제안 방법

• 메타목표에 대해 편향이 없는 그래디언트 추정치를 사용하는 확률적 그래디언트 기반 메타강화학습 알고리즘인 SG-MRL을 제안한다.
• 배치 크기를 제어하여 분산을 줄이고 편향을 제거하는 방식으로 메타업데이트 단계를 설계한다.
• 이중 최적화 구조를 활용: 내부 루프는 개별 작업에 대해 확률적 정책 그래디언트 업데이트를 수행하고, 외부 루프는 편향이 없는 추정치를 사용해 초기 정책을 최적화한다.
• 가속도 함수의 그래디언트의 리프슈츠 연속성과 그래디언트 노름의 유계성에 대한 가정을 사용해 수렴 한계를 유도한다.
• 학습률과 배치 크기 조건을 도입하여 $\epsilon$-일阶 정류점으로의 수렴을 보장한다.
• 재귀적 그래디언트 분해와 분산 제어를 사용해 다중 내부 루프 정책 그래디언트 단계로 분석을 확장한다.

실험 결과

연구 질문

• RQ1 확률적 정책 그래디언트를 사용하는 모델에 종속되지 않은 메타강화학습 알고리즘이 일阶 정류점으로 수렴할 수 있는가?
• RQ2 학습률과 배치 크기에 어떤 조건이 성립해야 메타강화학습에서 $\epsilon$-정류점으로 수렴하는가?
• RQ3 기본적인 확률적 정책 그래디언트 방법에서 지속적인 편향이 메타강화학습의 수렴에 어떤 영향을 미치는가?
• RQ4 수렴 이론을 다중 내부 루프 정책 그래디언트 단계로 확장할 수 있는가?
• RQ5 제안된 편향이 없는 추정치는 실무에서 표준 MAML보다 성능을 어떻게 향상시키는가?

주요 결과

• SG-MRL는 학습률과 배치 크기의 온건한 조건 하에서 $\epsilon$-일阶 정류점으로 수렴함을 보이며, 모델에 종속되지 않은 메타강화학습에 대해 처음으로 이론적 수렴 보장을 제공한다.
• 편향이 없는 그래디언트 추정치를 사용함으로써 정확한 일阶 최적성을 확보하여 이전의 확률적 정책 그래디언트 기반 메타강화학습 방법에서 발생하는 지속적인 편향 문제를 해결한다.
• 학습률이 충분히 작거나 배치 크기가 충분히 크면 수렴이 보장되며, 필요한 배치 크기와 학습률에 대한 명시적 한계가 도출된다.
• 이론적 분석은 다중 내부 루프 정책 그래디언트 단계로 확장되었으며, 유사한 조건 하에서 동일한 수렴 행동이 유지됨을 보여준다.
• 2D 내비게이션 및 MuJoCo 로코모션 작업에서의 실증 결과는 SG-MRL가 표준 MAML보다 샘플 효율성과 최종 성능 면에서 뛰어남을 보여준다.
• 모든 평가 환경에서 10개의 랜덤 시드에 걸쳐 안정적인 학습과 일관된 성능을 달성하여 강건성을 확인한다.