[论文解读] Modularization of End-to-End Learning: Case Study in Arcade Games

Andrew Melnik, Sascha Fleer+2 more|arXiv (Cornell University)|Jan 27, 2019

Artificial Intelligence in Games参考文献 16被引用 5

一句话总结

本文提出了一种用于雅达利游戏的模块化端到端学习框架，将环境分解为可控制与不可控制的物体，并使用专门的功能模块进行轨迹预测、碰撞检测和目标导向控制。通过结合监督学习、强化学习以及事后经验回放，该框架在10–15分钟的游戏时间内达到人类水平性能，显著快于标准端到端方法所需数百万步的训练时间。

ABSTRACT

Complex environments and tasks pose a difficult problem for holistic end-to-end learning approaches. Decomposition of an environment into interacting controllable and non-controllable objects allows supervised learning for non-controllable objects and universal value function approximator learning for controllable objects. Such decomposition should lead to a shorter learning time and better generalisation capability. Here, we consider arcade-game environments as sets of interacting objects (controllable, non-controllable) and propose a set of functional modules that are specialized on mastering different types of interactions in a broad range of environments. The modules utilize regression, supervised learning, and reinforcement learning algorithms. Results of this case study in different Atari games suggest that human-level performance can be achieved by a learning agent within a human amount of game experience (10-15 minutes game time) when a proper decomposition of an environment or a task is provided. However, automatization of such decomposition remains a challenging problem. This case study shows how a model of a causal structure underlying an environment or a task can benefit learning time and generalization capability of the agent, and argues in favor of exploiting modular structure in contrast to using pure end-to-end learning approaches.

研究动机与目标

• 解决纯端到端强化学习在复杂环境中训练时间过长且泛化能力差的问题。
• 探究将环境分解为可控制与不可控制物体是否能加速学习并提升性能。
• 开发一套可复用的功能模块，用于多种街机游戏中常见的交互原语。
• 证明对环境中因果结构的建模可显著降低样本复杂度并提升泛化能力。
• 探索将学习负担从原始策略学习转向结构化、模块化交互原语的可行性。

提出的方法

• 使用基于对象的状态表示来描述街机游戏，追踪形状、类型、位置、速度及交互区域。
• 实现一个不可控物体模块，利用带有ReLU激活函数的双流神经网络，并通过n步递归滚动预测未来轨迹。
• 集成一个碰撞传感器模块，通过检测预测轨迹与其他物体之间的像素重叠（0或1表示碰撞）来判断是否发生碰撞。
• 使用可控物体模块，基于轨迹交点计算目标位置，并通过事后经验回放应用通用价值函数策略。
• 通过监督回归在动作序列和奖励事件上训练可控物体模块，结合前k步动作以建模动力学。
• 应用帧跳过（2），并在像素输入上通过手工设计的滤波器（颜色、帧间差分、形状匹配）转换为对象特征。

实验结果

研究问题

• RQ1 将街机游戏模块化地分解为可控制与不可控制物体，是否能降低强化学习中的样本复杂度？
• RQ2 用于交互原语（如轨迹预测、碰撞检测）的通用功能模块在多种雅达利游戏中能有多强的泛化能力？
• RQ3 通过基于对象的模块建模环境的因果结构，是否相比端到端方法能提升学习速度与泛化能力？
• RQ4 该模块化框架在达到人类水平性能所需步数方面，与标准端到端DQN相比表现如何？
• RQ5 在广泛范围的街机游戏中实现人类水平控制，所需的最少功能模块数量是多少？

主要发现

• 该模块化框架在少于25,000次环境步数（帧跳过=2）内达到人类水平性能，相当于10–15分钟的真实人类游戏时间。
• 该性能仅需标准端到端DQN方法约1/1,000的步数即可达成，后者需约2,500万步才能达到类似结果。
• 该框架在应对环境细微变化（如挡板偏移或中墙变化）时表现出强大的泛化能力。
• 在可控物体模块中使用事后经验回放，显著减少了策略收敛所需的体验样本数量。
• 不可控物体模块通过历史运动数据的监督学习，成功实现了轨迹预测与碰撞检测。
• 该框架在Breakout、Pong和Video Pinball上的表现证实，通过模块化分解建模因果结构，可实现比整体端到端训练更快、更高效的强化学习。