[论文解读] Action-Conditional Video Prediction using Deep Networks in Atari Games

Junhyuk Oh, Xiaoxiao Guo+3 more|arXiv (Cornell University)|Jul 31, 2015

Reinforcement Learning in Robotics参考文献 31被引用 446

一句话总结

本文提出两种基于卷积神经网络和循环神经网络的深度神经网络架构，能够根据智能体动作预测Atari游戏中的未来视频帧。通过将动作条件变换与时空建模相结合，模型在超过100步的预测时域内生成视觉上逼真且具有控制实用性的预测结果，首次实现了在高维视觉环境中的长期动作条件化视频预测。

ABSTRACT

Motivated by vision-based reinforcement learning (RL) problems, in particular Atari games from the recent benchmark Aracade Learning Environment (ALE), we consider spatio-temporal prediction problems where future (image-)frames are dependent on control variables or actions as well as previous frames. While not composed of natural scenes, frames in Atari games are high-dimensional in size, can involve tens of objects with one or more objects being controlled by the actions directly and many other objects being influenced indirectly, can involve entry and departure of objects, and can involve deep partial observability. We propose and evaluate two deep neural network architectures that consist of encoding, action-conditional transformation, and decoding layers based on convolutional neural networks and recurrent neural networks. Experimental results show that the proposed architectures are able to generate visually-realistic frames that are also useful for control over approximately 100-step action-conditional futures in some games. To the best of our knowledge, this paper is the first to make and evaluate long-term predictions on high-dimensional video conditioned by control inputs.

研究动机与目标

• 解决视觉强化学习中高维视频长期条件化预测的挑战，条件为控制动作。
• 开发能够建模Atari游戏中复杂时空动态的深度学习架构，其中动作会影响直接控制和间接影响的物体。
• 评估动作条件化视频预测是否可通过实现有信息的探索或替代环境动力学来提升无模型强化学习的性能。
• 探究所学习的表征是否隐式地将受控物体与非受控物体解耦，并捕捉有意义的动作相似性。

提出的方法

• 提出两种深度架构：一种采用因子分解的乘法交互模块，另一种采用带有门控循环单元（GRUs）的残差连接，两者均通过学习的变换整合动作输入。
• 采用双流编码器-解码器框架：一条流通过卷积神经网络处理历史帧，另一条流通过全连接层处理动作，其输出通过乘法交互融合。
• 应用一个学习的、动作条件化的变换层，利用动作嵌入因子调制特征图，实现基于动作的动态图像生成。
• 使用像素级重建损失（L2）和轨迹记忆机制，端到端训练模型以稳定长时域预测。
• 对84×84灰度帧使用前馈编码网络提取特征，架构细节见补充材料。
• 通过在预训练的DQN智能体中替换模拟器帧，以及利用预测结果指导有信息的探索策略，评估预测模型的实用性。

实验结果

研究问题

• RQ1 深度网络是否能在高维Atari游戏环境中，基于智能体动作生成视觉上逼真、长达100步的未来视频帧？
• RQ2 预测模型中所学习的表征是否能捕捉动作之间的有意义相似性（例如，带或不带射击的上下移动）？
• RQ3 预测模型是否能隐式识别图像中哪些区域受智能体动作直接控制，哪些仅受间接影响？
• RQ4 使用预测帧是否能提升如DQN等无模型强化学习智能体的性能？
• RQ5 动作条件化视频预测是否能通过引导智能体朝向更有信息量的状态探索，从而增强强化学习中的探索策略？

主要发现

• 所提出的架构在多个Atari游戏中成功生成了100步未来帧，且无发散现象，证明了长期动作条件化视频预测在高维视觉环境中的可行性。
• 对所学习动作因子的余弦相似性分析显示，具有相似移动方向的动作（如“上”与“上+射击”）具有正相关性，而相反方向则呈负相关，表明模型学习到了有意义的语义结构。
• 模型表征中高方差的动作因子被发现控制智能体直接控制的物体，而低方差因子则预测背景或间接受影响的物体，表明受控与非受控元素实现了隐式解耦。
• 使用预测帧进行有信息探索在五款测试游戏中有三款提升了DQN性能，尤其在QBer中提升最显著，表明其在强化学习中的实际应用价值。
• 在预训练DQN中用预测帧替换模拟器帧后，部分游戏中性能与原始DQN相当，验证了预测模型的保真度。
• 模型预测未来帧的能力使智能体能够更高效地探索环境，轨迹热图显示其状态覆盖范围优于随机探索。