[论文解读] Model-based Adversarial Meta-Reinforcement Learning

Zichuan Lin, Garrett Thomas+2 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 15

一句话总结

本文提出基于模型的对抗性元强化学习（AdMRL），一种极小化极大框架，通过训练共享的动力学模型以最小化参数化任务族中所有任务的最坏情况次优性差距。通过交替使用隐式梯度估计（利用共轭梯度和REINFORCE）进行模型学习与对抗性任务搜索，AdMRL在最坏情况性能、分布外任务泛化能力以及样本效率方面均优于当前最先进元强化学习方法。

ABSTRACT

Meta-reinforcement learning (meta-RL) aims to learn from multiple training tasks the ability to adapt efficiently to unseen test tasks. Despite the success, existing meta-RL algorithms are known to be sensitive to the task distribution shift. When the test task distribution is different from the training task distribution, the performance may degrade significantly. To address this issue, this paper proposes Model-based Adversarial Meta-Reinforcement Learning (AdMRL), where we aim to minimize the worst-case sub-optimality gap -- the difference between the optimal return and the return that the algorithm achieves after adaptation -- across all tasks in a family of tasks, with a model-based approach. We propose a minimax objective and optimize it by alternating between learning the dynamics model on a fixed task and finding the adversarial task for the current model -- the task for which the policy induced by the model is maximally suboptimal. Assuming the family of tasks is parameterized, we derive a formula for the gradient of the suboptimality with respect to the task parameters via the implicit function theorem, and show how the gradient estimator can be efficiently implemented by the conjugate gradient method and a novel use of the REINFORCE estimator. We evaluate our approach on several continuous control benchmarks and demonstrate its efficacy in the worst-case performance over all tasks, the generalization power to out-of-distribution tasks, and in training and test time sample efficiency, over existing state-of-the-art meta-RL algorithms.

研究动机与目标

• 解决元强化学习中的分布偏移问题，即测试任务与训练分布不同导致性能下降。
• 将元强化学习形式化为极小化极大问题，以最小化参数化任务族中所有任务的最坏情况次优性差距。
• 提出一种基于模型的方法，通过学习共享动力学模型以提升适应过程中的样本效率。
• 通过隐函数定理实现对任务参数的有效梯度计算，从而支持对任务参数的优化。
• 通过在元训练过程中对抗性地选择困难任务，提升对分布外任务的泛化能力。

提出的方法

• 将问题形式化为极小化极大目标：在任务参数上最小化最坏情况次优性差距，其中模型参数作为最小化者。
• 采用基于模型的方法，即在固定任务上训练共享动力学模型，并在推理阶段用于策略适应。
• 交替更新动力学模型与寻找使当前策略次优性差距最大的对抗性任务。
• 利用隐函数定理推导次优性差距对任务参数的梯度，从而实现对适应过程的反向传播。
• 通过共轭梯度高效实现Hessian-向量积的梯度估计，并采用新型基于REINFORCE的估计器实现策略梯度。
• 通过交替优化模型学习与对抗性任务生成，求解极小化极大目标。

实验结果

研究问题

• RQ1 极小化极大公式能否在任务分布偏移下提升元强化学习的最坏情况性能？
• RQ2 对抗性任务生成如何提升元强化学习在分布外任务上的泛化能力？
• RQ3 基于模型的元强化学习结合隐式梯度估计，是否能比分布方法实现更好的样本效率与鲁棒性？
• RQ4 高维任务参数空间对标准元强化学习方法与对抗性训练性能的影响如何？
• RQ5 对抗性任务选择与随机采样（均匀或高斯分布）相比，在元训练中覆盖困难任务的效率如何？

主要发现

• 在Ant2D与Ant3D环境中，AdMRL在所有任务上显著低于MB-Unif与MB-Gauss的最坏情况次优性差距，尤其在边界任务上表现更优。
• 在Ant2D中，当训练分布为[-3,3]²而测试分布为[-5,5]²时，AdMRL在分布外任务上显著低于基线的次优性差距。
• 在高维任务中，AdMRL通过高效识别并学习最困难任务，避免了对任务空间中心区域的过拟合，表现优于MB-Unif与MB-Gauss。
• 可视化结果表明，AdMRL能快速访问并学习任务空间边界的困难任务，而随机采样基线极少触及这些区域。
• AdMRL学习到的模型在分布外任务上的预测误差低于MB-Unif与MB-Gauss，表明其动力学泛化能力更强。
• AdMRL在适应步骤中保持强劲性能，其最坏情况次优性差距下降更快且达到更低的值，优于基线方法。