[论文解读] Learning Invariances for Policy Generalization

Rémi Tachet, Philip Bachman+1 more|arXiv (Cornell University)|Sep 7, 2018

Reinforcement Learning in Robotics参考文献 17被引用 3

一句话总结

本文研究通过学习不变性来提升强化学习中策略的泛化能力，特别关注在简单跳跃任务中的平移不变性。结果表明，数据增强能有效诱导不变性，使策略在1,265个未见过的障碍物位置上实现99.8%的泛化性能，而元学习和对抗训练尽管理论上具有潜力，却未能超越基线模型。

ABSTRACT

While recent progress has spawned very powerful machine learning systems, those agents remain extremely specialized and fail to transfer the knowledge they gain to similar yet unseen tasks. In this paper, we study a simple reinforcement learning problem and focus on learning policies that encode the proper invariances for generalization to different settings. We evaluate three potential methods for policy generalization: data augmentation, meta-learning and adversarial training. We find our data augmentation method to be effective, and study the potential of meta-learning and adversarial learning as alternative task-agnostic approaches.

研究动机与目标

• 为解决强化学习中策略泛化的问题，即在有限任务上训练的智能体无法泛化到未见过的变体。
• 探究通过不同训练范式是否能够诱导不变性学习，特别是平移不变性。
• 评估数据增强、元学习和对抗训练作为任务无关方法，以提升零样本泛化能力。
• 确定学习解耦或不变特征是否能带来更好的跨未见任务变体的迁移能力。
• 识别哪种方法最有效地使智能体在记忆任务特定特征之外实现泛化。

提出的方法

• 通过在训练期间随机移动游戏屏幕嵌入，应用数据增强，迫使智能体学习平移不变表示。
• 采用一阶近似方法实现元学习，即在一次梯度更新后最小化两个随机任务损失之和，以鼓励可泛化的参数更新。
• 对抗训练通过一个判别器来从隐藏层激活中分类任务身份，促使智能体生成任务无关表示。
• 使用Double-DQN和A2C算法训练智能体，对比是否应用所提出的不变性诱导技术。
• 在总共1,271个任务上评估性能，其中6个用于训练，1,265个用于零样本泛化测试。
• 使用t-SNE可视化分析隐藏层表示，比较对抗训练前后任务聚类情况。

实验结果

研究问题

• RQ1 数据增强是否能有效在强化学习策略中诱导平移不变性，从而提升零样本泛化性能？
• RQ2 元学习通过任务间梯度对齐，是否能带来优于标准强化学习训练的泛化性能？
• RQ3 对抗训练是否能成功从隐藏表示中去除任务特定信息，同时保持任务求解能力？
• RQ4 学习独立或解耦特征是否足以实现泛化，还是不变性更为关键？
• RQ5 为何元学习和对抗训练未能实现优于标准强化学习基线的泛化性能，尽管它们具有理论优势？

主要发现

• 数据增强实现99.8%的泛化性能，在1,265个未见障碍物位置中成功解决1,263个，显著优于基线模型。
• 未使用数据增强的基线智能体仅在36个（占1,265个）测试任务中实现泛化，泛化率仅为2.8%，表明迁移能力极差。
• 使用数据增强训练的智能体能成功应对两个连续障碍物的情况，而该场景在训练中从未出现，证明其具备稳健的不变性学习能力。
• 尽管理论上具有潜力，元学习和对抗训练并未使泛化性能超越标准强化学习基线。
• t-SNE可视化证实，对抗训练成功消除了隐藏表示中的任务特定聚类，但泛化性能依然较差。
• 结果表明，必须显式鼓励不变性——仅学习解耦特征不足以实现泛化，如元学习和对抗训练未能有效泛化所示。