[论文解读] Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

Maruan Al-Shedivat, Trapit Bansal+4 more|arXiv (Cornell University)|Oct 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 39被引用 157

一句话总结

本论文将非平稳且具有竞争性的强化学习中的连续自适应表述为基于梯度的元学习，提出 RoboSumo，并展示元学习得到的自适应在少样本设置和迭代多智能体博弈中优于反应基线。

ABSTRACT

Ability to continuously learn and adapt from limited experience in nonstationary environments is an important milestone on the path towards general intelligence. In this paper, we cast the problem of continuous adaptation into the learning-to-learn framework. We develop a simple gradient-based meta-learning algorithm suitable for adaptation in dynamically changing and adversarial scenarios. Additionally, we design a new multi-agent competitive environment, RoboSumo, and define iterated adaptation games for testing various aspects of continuous adaptation strategies. We demonstrate that meta-learning enables significantly more efficient adaptation than reactive baselines in the few-shot regime. Our experiments with a population of agents that learn and compete suggest that meta-learners are the fittest.

研究动机与目标

• 将连续自适应表述为用于非平稳环境的学习到学习。
• 开发适用于快速适应 RL 任务的基于梯度的元学习算法。
• 引入 RoboSumo，这是一个 3D 竞赛环境，并设计迭代自适应博弈以评估自适应动态。
• 证明元学习在少样本场景下比反应基线更高效地实现自适应。
• 探索群体层面的动态以评估随时间演化的哪种自适应策略占据主导地位。

提出的方法

• 从概率视角重新推导多任务 RL 的 MAML，并将其扩展到动态任务变化。
• 定义将初始策略参数映射到任务特定策略的自适应更新，使用梯度步。
• 使用对连续任务对的元损失来训练基础参数和自适应参数。
• 实现带有二阶梯度计算的双时间尺度训练与执行过程以进行元更新。
• 引入带重要性权重的自适应以处理执行时数据的漂移。
• 在三个行走的非平稳环境和 RoboSumo 多智能体设定中进行评估，包括迭代自适应博弈。

实验结果

研究问题

• RQ1 基于梯度的元学习是否能在对非平稳或对手对抗性变化的环境中比反应基线实现更快且更鲁棒的自适应？
• RQ2 在单智能体行走任务的少样本自适应情景以及竞争性多智能体博弈中，元学习的表现如何？
• RQ3 迭代自适应博弈是否促成在学习代理群体中出现更优的自适应策略？
• RQ4 不同策略架构和自适应步数对非平稳 RL 任务中的自适应性能有何影响？

主要发现

• 在单智能体行走和 RoboSumo 设置的少样本情形中，元学习得到的自适应显著优于反应基线。
• 通过元学习实现的自适应使代理能够预测环境变化并在仅有少量经验后有效更新策略。
• 在迭代自适应博弈中，元学习策略往往在对手随轮次改进时获得更高的胜率并主导基线。
• 一个多样化种群实验表明元学习自适应策略演化成为世代中最适者。