[论文解读] Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors

Benjamin Spector, Serge Belongie|arXiv (Cornell University)|Jan 7, 2018

Reinforcement Learning in Robotics参考文献 2被引用 11

一句话总结

本文提出通过利用相关环境间的共享表征，结合架构先验与迁移先验，实现样本高效的强化学习。通过在自动生成的游戏变体上训练具有共享特征编码器的深度Q网络，该方法相较标准DQN实现了50倍的样本效率提升，表明结构化的归纳偏置能显著减少在新但相关任务中的学习步数。

ABSTRACT

Recent work in deep reinforcement learning has allowed algorithms to learn complex tasks such as Atari 2600 games just from the reward provided by the game, but these algorithms presently require millions of training steps in order to learn, making them approximately five orders of magnitude slower than humans. One reason for this is that humans build robust shared representations that are applicable to collections of problems, making it much easier to assimilate new variants. This paper first introduces the idea of automatically-generated game sets to aid in transfer learning research, and then demonstrates the utility of shared representations by showing that models can substantially benefit from the incorporation of relevant architectural priors. This technique affords a remarkable 50x positive transfer on a toy problem-set.

研究动机与目标

• 探究在相关强化学习任务之间共享表征是否能显著降低样本复杂度。
• 证明架构先验（如共享特征编码器）可在深度强化学习中实现强大的正向迁移。
• 提出一种自动生成游戏变体的框架，以促进迁移学习研究。
• 弥合人类级样本效率与当前深度强化学习算法（需数百万步）之间的差距。
• 探索模型感知学习的可行性，即神经网络在不依赖显式世界模型的前提下，通过结构先验融入环境结构知识。

提出的方法

• 作者生成一组具有共享结构特性的相关网格世界环境（如物体类型、奖励机制等），以支持迁移学习。
• 在所有变体上训练一个带有共享卷积特征编码器的深度Q网络，通过参数共享强制学习通用表征。
• 网络采用双DQN结合经验回放与目标网络，以提升训练稳定性和样本效率。
• 通过在新任务上微调共享编码器并测量达到目标性能所需的训练步数，评估迁移效果。
• 通过设计反映已知环境结构的网络架构（如注意力图、语义奖励组件等）引入架构先验。
• 训练过程采用离线、批量学习，以提升数据效率并减少分布漂移。

实验结果

研究问题

• RQ1 架构先验是否能显著减少在相关环境中强化学习所需的训练步数？
• RQ2 通过共享表征的迁移学习在深度强化学习中能在多大程度上提升样本效率？
• RQ3 自动生成游戏集在促进结构化环境中正向迁移方面有多有效？
• RQ4 一种模型感知架构（在不使用显式世界模型的前提下融入结构先验）能否实现人类级的样本效率？
• RQ5 观察到的50倍样本效率提升是源于架构先验，还是仅仅由于权重初始化与超参数调优？

主要发现

• 与标准DQN相比，该方法在一组自动生成的网格世界任务上实现了50倍的训练步数减少，证明了强大的正向迁移。
• 即使任务在结构上相似但不完全相同，跨相关任务使用共享卷积特征编码器仍能带来显著的样本效率增益。
• 结果表明，架构先验（如注意力与奖励结构的共享表征）可将学习复杂度降低数个数量级。
• 该方法在强化学习中的迁移学习表现优于典型基准，后者认为提升百分之几十已属显著，而本方法实现了数量级的改进。
• 采用架构先验的模型性能接近人类级学习效率，表明此类先验可能是实现在复杂任务上样本高效强化学习的关键。
• 作者得出结论：模型感知学习（即通过网络架构嵌入环境结构知识）是实现强化学习中人类级样本效率的可行路径。