[论文解读] Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning

Guy Davidson, Brenden M. Lake|arXiv (Cornell University)|Feb 16, 2020

Reinforcement Learning in Robotics参考文献 5被引用 6

一句话总结

本文研究了在Atari游戏Frostbite的Rainbow深度强化学习智能体中引入简单、手工设计的物体表征（如鱼类、外星人和浮冰的掩码）的影响。结果表明，这些表征显著加速了学习过程，使智能体在不到1000万次训练步骤内超越先前的最先进性能，而未使用这些表征的模型则需2亿次训练步骤才能达到类似水平，同时在新场景中的泛化能力也得到提升。

ABSTRACT

We explore the benefits of augmenting state-of-the-art model-free deep reinforcement algorithms with simple object representations. Following the Frostbite challenge posited by Lake et al. (2017), we identify object representations as a critical cognitive capacity lacking from current reinforcement learning agents. We discover that providing the Rainbow model (Hessel et al.,2018) with simple, feature-engineered object representations substantially boosts its performance on the Frostbite game from Atari 2600. We then analyze the relative contributions of the representations of different types of objects, identify environment states where these representations are most impactful, and examine how these representations aid in generalizing to novel situations.

研究动机与目标

• 探究简单、手工设计的物体表征是否能提升模型无关深度强化学习中的样本效率与性能。
• 通过引入类认知的物体表征，弥合人类与人工智能体在学习效率上的差距。
• 分析物体表征在价值函数学习、状态识别以及新环境中的泛化能力方面的作用机制。
• 评估不同物体类型（如鱼类、外星人、螃蟹）对策略性能与鲁棒性的相对影响。
• 测试物体表征是否能实现对训练分布之外场景的泛化，特别是在分布外场景中。

提出的方法

• 通过基于像素颜色与空间位置的手工掩码，为Rainbow DQN智能体的输入状态增加额外通道，每个通道代表一种特定的语义物体类型（如鱼类、友好外星人、螃蟹）。
• 在Atari 2600套件中的Frostbite环境中训练改进后的Rainbow智能体，并与原始的仅使用像素的版本及消融变体进行性能对比。
• 利用价值函数分析比较各模型的状态值分布，识别物体表征对学习到的价值影响最大的区域。
• 通过逐个移除物体通道进行消融研究，评估其对性能与泛化能力的相对贡献。
• 通过引入新配置评估泛化能力：例如，用来自Space Invaders的新精灵替换熟悉的精灵，或将智能体置于极端分布外状态（如被困在单个浮冰上）。
• 应用统计检验（两样本t检验）比较价值函数分布，确定不同模型与条件下性能差异的显著性。

实验结果

研究问题

• RQ1 在Frostbite环境中，简单、手工设计的物体表征如何影响模型无关深度强化学习智能体的样本效率与最终性能？
• RQ2 哪些类型的物体（如鱼类、外星人、螃蟹）对学习与价值函数准确度的贡献最为显著？
• RQ3 在哪些环境状态下，物体表征对学习到的价值函数产生了最显著的影响？
• RQ4 物体表征在多大程度上提升了对新颖、分布外场景的泛化能力，这些场景在训练中未曾出现？
• RQ5 当视觉外观与训练数据不同时，物体表征是否能使智能体泛化到全新的物体类型（如来自Space Invaders的外星人精灵）？

主要发现

• Pixels+Objects模型在仅1000万次训练步骤内即达到原始Rainbow智能体在2亿次训练步骤内报告的得分水平，证明了样本效率的显著提升。
• 物体表征显著改变了状态值函数，且在'Fish'与'Good Aliens'条件下，Pixels与Pixels+Objects模型之间的值函数差异具有统计学显著性（p < 0.001）。
• 具备物体表征的模型在面对新型物体类型（如来自Space Invaders的外星人精灵）时表现出更优的泛化能力，表明其依赖于语义物体结构而非原始像素。
• 即使新引入的物体在视觉特征上与已知物体完全相同（如可食用的鱼与危险的螃蟹），模型仍能基于物体掩码区分其角色，表明表征被功能性地使用。
• 在极端分布外场景中（如被困在单个浮冰上且无逃生路径），模型性能仅略优于随机策略，且仅有一个比较（'Death #2'与'Escape Route'之间Pixels+Objects）达到统计显著性，表明在这些场景中存在局限性。
• 消融研究显示，移除物体通道会导致性能下降，其中'Fish'与'Good Aliens'通道的影响最大，证实其在价值函数学习中的关键作用。