[论文解读] Learning to Act by Predicting the Future

Alexey Dosovitskiy, Vladlen Koltun|arXiv (Cornell University)|Nov 6, 2016

Reinforcement Learning in Robotics被引用 65

一句话总结

本文提出了一种监督学习方法，用于在3D环境中实现感觉运动控制，通过训练智能体从原始视觉输入和当前状态预测未来的测量值（例如，生命值、弹药、击杀数），利用感官和测量信号流的时间结构作为内在监督。该方法在性能上优于深度强化学习基线模型，在未见过的目标之间具有泛化能力，并在Visual Doom AI Competition的Full Deathmatch赛道中以超过50%的优势胜出。

ABSTRACT

We present an approach to sensorimotor control in immersive environments. Our approach utilizes a high-dimensional sensory stream and a lower-dimensional measurement stream. The cotemporal structure of these streams provides a rich supervisory signal, which enables training a sensorimotor control model by interacting with the environment. The model is trained using supervised learning techniques, but without extraneous supervision. It learns to act based on raw sensory input from a complex three-dimensional environment. The presented formulation enables learning without a fixed goal at training time, and pursuing dynamically changing goals at test time. We conduct extensive experiments in three-dimensional simulations based on the classical first-person game Doom. The results demonstrate that the presented approach outperforms sophisticated prior formulations, particularly on challenging tasks. The results also show that trained models successfully generalize across environments and goals. A model trained using the presented approach won the Full Deathmatch track of the Visual Doom AI Competition, which was held in previously unseen environments.

研究动机与目标

• 解决从原始感官输入在复杂3D环境中学习感觉运动控制的挑战，而无需外部监督。
• 实现在测试时无需固定目标的训练，支持动态目标追逐。
• 通过利用密集的多变量测量反馈而非稀疏标量奖励，提升训练稳定性和性能。
• 在沉浸式3D模拟环境中，展示在多样化目标和环境下的泛化能力。
• 为丰富环境中连续控制开发一种可扩展的、基于监督学习的替代方法，以替代强化学习。

提出的方法

• 模型基于当前感官输入和状态，训练以预测多个未来时间步的未来测量值（例如，生命值、弹药、击杀数）。
• 感官流由高维原始输入（例如，RGB帧）组成，而测量流为低维且与状态相关。
• 监督信号来源于交互过程中感官和测量序列的同期结构，从而无需外部奖励。
• 模型使用深度神经网络，将当前观测映射到多个时间跨度的未来测量值预测。
• 在测试时，智能体选择最符合预测未来测量值与当前目标匹配的动作。
• 该方法在Doom环境中通过Visual Doom AI Competition基准进行评估，未使用人类示范或额外监督。

实验结果

研究问题

• RQ1 在未进行显式奖励设计的情况下，基于未来测量值预测训练的监督学习模型是否能在复杂3D控制任务中实现高性能？
• RQ2 与标量奖励相比，预测多个时间步的多个测量值是否能提升学习的稳定性和性能？
• RQ3 在训练期间不知道最终目标的模型，是否能有效泛化到测试时动态指定的目标？
• RQ4 该模型在沉浸式3D环境中的性能与最先进深度强化学习方法相比如何？
• RQ5 使用多变量、时间密集的反馈在多大程度上提升了在不同环境和目标之间的泛化能力？

主要发现

• 尽管采用更简单的架构且未使用人类游戏数据，该模型在Visual Doom AI Competition的Full Deathmatch赛道中，性能超过第二名提交方案的50%以上。
• 在训练期间不知道目标的模型，其性能达到专门针对目标训练的模型的92.3%，展示了强大的泛化能力。
• 在多种目标下训练的模型，相比仅用单一固定目标训练的模型，在泛化到新测试目标时表现显著更优。
• 预测所有三个测量值（弹药、生命值、击杀数）在六个未来时间步时性能最佳，消融实验表明向量反馈优于标量奖励。
• 在D3-tx场景中，当预测所有测量值在所有偏移时间点时，模型平均击杀数达到22.6，而仅预测一个时间步的击杀数时仅为5.0。
• 该模型成功泛化到此前未见过的环境和目标，展示了在复杂3D环境中具备鲁棒性和可迁移性。