[论文解读] A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games

Felix Leibfried, Nate Kushman+1 more|arXiv (Cornell University)|Nov 21, 2016

Reinforcement Learning in Robotics参考文献 35被引用 23

一句话总结

本文提出了一种深度学习模型，通过单一卷积神经网络联合预测Atari游戏中的未来视频帧和累积奖励。通过同时优化帧重建和奖励预测，该模型在长达200帧的范围内实现了精确的累积奖励预测，为在动态和奖励函数未知的高维视觉环境中实现基于模型的强化学习奠定了关键基础。

ABSTRACT

Reinforcement learning is concerned with identifying reward-maximizing behaviour policies in environments that are initially unknown. State-of-the-art reinforcement learning approaches, such as deep Q-networks, are model-free and learn to act effectively across a wide range of environments such as Atari games, but require huge amounts of data. Model-based techniques are more data-efficient, but need to acquire explicit knowledge about the environment. In this paper, we take a step towards using model-based techniques in environments with a high-dimensional visual state space by demonstrating that it is possible to learn system dynamics and the reward structure jointly. Our contribution is to extend a recently developed deep neural network for video frame prediction in Atari games to enable reward prediction as well. To this end, we phrase a joint optimization problem for minimizing both video frame and reward reconstruction loss, and adapt network parameters accordingly. Empirical evaluations on five Atari games demonstrate accurate cumulative reward prediction of up to 200 frames. We consider these results as opening up important directions for model-based reinforcement learning in complex, initially unknown environments.

研究动机与目标

• 在动力学和奖励函数初始未知的高维视觉环境中实现基于模型的强化学习。
• 开发一种统一的深度学习框架，从原始视觉输入中联合预测未来状态和奖励。
• 通过学习环境动力学和奖励结构的显式模型，减少对大量环境交互数据的依赖。
• 通过提供精确的预测模型，支持未来的规划算法（如蒙特卡洛树搜索和Dyna风格学习）。
• 探索联合预测作为终身学习和多任务强化学习前提条件的可行性。

提出的方法

• 使用联合优化目标训练深度卷积神经网络，最小化视频帧重建损失和累积奖励预测损失。
• 网络利用共享的潜在表征来编码视觉状态转移，并同时预测未来帧和奖励。
• 在来自Atari游戏（Arcade Learning Environment, ALE）的轨迹数据集上，通过反向传播进行端到端训练。
• 该架构在Oh等（2015）先前视频预测工作的基础上，通过引入一个预测未来多帧累积奖励的奖励头进行扩展。
• 模型利用时间卷积和残差连接，以提高长时程预测的稳定性。
• 在五个Atari游戏中评估该方法，以衡量联合预测的准确性以及在多样化视觉和奖励结构下的泛化能力。

实验结果

研究问题

• RQ1 单一深度神经网络能否在高维视觉环境中准确预测未来视频帧和累积奖励？
• RQ2 与独立训练帧预测和奖励预测模型相比，帧与奖励预测的联合优化是否能提升长时程奖励估计性能？
• RQ3 此类联合预测模型在多大程度上可作为未知动力学和奖励函数环境中基于模型强化学习的基础？
• RQ4 在Atari游戏中常见的稀疏或延迟奖励结构下，该模型表现如何？
• RQ5 该模型能否减轻长时程预测中的误差累积，从而实现可靠的规划？

主要发现

• 该模型在五个Atari游戏中均实现了对长达200帧未来奖励的精确预测，展示了长时程泛化能力。
• 联合训练显著优于独立训练帧头和奖励头的性能，大幅提升了奖励预测表现。
• 该模型成功捕捉了视觉丰富环境中复杂的动力学和奖励结构，且无需显式环境建模。
• 定性分析表明，该模型能良好泛化到未见过的游戏状态，并预测出合理可行的未来帧和奖励轨迹。
• 该方法减轻了预测中的误差累积问题，与先前工作不同，实现了稳定的长期预测。
• 结果验证了利用学习到的联合动力学与奖励模型作为复杂视觉领域中基于规划的强化学习基础的可行性。