[论文解读] On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning

Alireza Fallah, Kristian Georgiev+2 more|arXiv (Cornell University)|Feb 12, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新型的无模型元强化学习方法——随机梯度元强化学习（SG-MRL），该方法在推理阶段使用无偏的随机策略梯度，实现了模型无关元强化学习的首次收敛性保证。通过控制批量大小和学习率，SG-MRL在理论上实现了对 $\epsilon$-一阶驻点的收敛，解决了以往方法中存在的偏差与方差问题。

ABSTRACT

We consider Model-Agnostic Meta-Learning (MAML) methods for Reinforcement Learning (RL) problems, where the goal is to find a policy using data from several tasks represented by Markov Decision Processes (MDPs) that can be updated by one step of stochastic policy gradient for the realized MDP. In particular, using stochastic gradients in MAML update steps is crucial for RL problems since computation of exact gradients requires access to a large number of possible trajectories. For this formulation, we propose a variant of the MAML method, named Stochastic Gradient Meta-Reinforcement Learning (SG-MRL), and study its convergence properties. We derive the iteration and sample complexity of SG-MRL to find an $\\epsilon$-first-order stationary point, which, to the best of our knowledge, provides the first convergence guarantee for model-agnostic meta-reinforcement learning algorithms. We further show how our results extend to the case where more than one step of stochastic policy gradient method is used at test time. Finally, we empirically compare SG-MRL and MAML in several deep RL environments.

研究动机与目标

• 解决现有无模型元强化学习方法缺乏理论收敛性保证的问题。
• 解决实际应用中随机策略梯度更新存在的非衰减偏差与方差问题，这些问题阻碍了向一阶最优性的精确收敛。
• 为强化学习中的MAML变体建立并分析一种在推理阶段使用随机策略梯度的方法，使理论与实际实现相一致。
• 对推理阶段的单步与多步随机策略梯度更新提供收敛性分析。
• 在二维导航与MuJoCo运动控制环境中对方法进行实证验证。

提出的方法

• 提出SG-MRL，一种基于随机梯度的元强化学习算法，使用无偏梯度估计来优化元目标。
• 设计元更新步骤，采用具有可控批量大小的随机策略梯度估计器，以降低方差并消除偏差。
• 利用两层优化结构：内层循环在单个任务上执行随机策略梯度更新，外层循环使用无偏估计来优化初始策略。
• 基于价值函数梯度的Lipschitz连续性与梯度范数有界性等假设，推导收敛边界。
• 提出学习率与批量大小的条件，确保收敛至 $\epsilon$-一阶驻点。
• 通过递归梯度分解与方差控制，将分析扩展至多步内层策略梯度更新。

实验结果

研究问题

• RQ1 一种基于随机策略梯度的无模型元强化学习算法能否实现向一阶驻点的收敛？
• RQ2 学习率与批量大小需满足何种条件，才能确保元强化学习中收敛至 $\epsilon$-驻点？
• RQ3 标准随机策略梯度方法中非衰减的偏差如何影响元强化学习中的收敛性？
• RQ4 该收敛理论能否扩展至多步内层策略梯度更新？
• RQ5 与标准MAML相比，所提出的无偏估计器在实际中是否能显著提升性能？

主要发现

• 在学习率与批量大小的温和条件下，SG-MRL 能够收敛至 $\epsilon$-一阶驻点，首次为无模型元强化学习提供了理论收敛性保证。
• 通过使用无偏梯度估计器，该方法实现了精确的一阶最优性，克服了以往基于随机策略梯度的元强化学习方法中持续存在的非衰减偏差问题。
• 当学习率足够小或批量大小足够大时，可保证收敛，且推导出了所需批量大小与学习率的显式边界。
• 理论分析可扩展至多步内层策略梯度更新，表明在相似条件下仍能保持相同的收敛行为。
• 在二维导航与MuJoCo运动控制任务上的实证结果表明，SG-MRL 在样本效率与最终性能方面均优于标准MAML。
• 该方法在所有评估环境中均实现了稳定训练与一致性能，10组随机种子下的实验结果均表现稳健，验证了其鲁棒性。