[论文解读] Dynamic Frame skip Deep Q Network

Aravind S. Lakshminarayanan, Sahil Sharma+1 more|arXiv (Cornell University)|May 17, 2016

Reinforcement Learning in Robotics参考文献 18被引用 10

一句话总结

本文提出动态帧跳过深度Q网络（DFDQN），一种新颖的强化学习架构，其根据当前状态动态学习帧跳过率，而非使用固定的跳过值。通过将帧跳过设为可学习策略，DFDQN在Seaquest等具有挑战性的Atari游戏中表现出色，相较于静态帧跳过方法，展现出更优的样本效率和最终得分。

ABSTRACT

Deep Reinforcement Learning methods have achieved state of the art performance in learning control policies for the games in the Atari 2600 domain. One of the important parameters in the Arcade Learning Environment (ALE) is the frame skip rate. It decides the granularity at which agents can control game play. A frame skip value of $k$ allows the agent to repeat a selected action $k$ number of times. The current state of the art architectures like Deep Q-Network (DQN) and Dueling Network Architectures (DuDQN) consist of a framework with a static frame skip rate, where the action output from the network is repeated for a fixed number of frames regardless of the current state. In this paper, we propose a new architecture, Dynamic Frame skip Deep Q-Network (DFDQN) which makes the frame skip rate a dynamic learnable parameter. This allows us to choose the number of times an action is to be repeated based on the current state. We show empirically that such a setting improves the performance on relatively harder games like Seaquest.

研究动机与目标

• 为解决静态帧跳过率在深度Q网络中的局限性，该局限性导致无论上下文如何，动作重复均被限制为固定帧数。
• 探究将帧跳过率作为策略输出进行学习，是否能提升Atari 2600游戏中样本效率和最终性能。
• 开发一种基于DQN的架构，其中帧跳过率是神经网络的连续、与状态相关的输出，从而实现自适应动作重复。

提出的方法

• DFDQN架构通过引入可学习的帧跳过头，扩展了标准DQN，该头为每个状态输出一个连续的跳过值。
• 网络同时预测动作和重复执行该动作的帧数，跳过值为可微分，并通过深度Q学习进行训练。
• 动作将根据预测的帧数重复执行，代理在跳过周期结束后观察结果状态和奖励。
• 通过可微分松弛或推理时的硬舍入，将帧跳过值约束为整数，以保持与ALE环境的兼容性。
• 训练目标仍为标准DQN，包含经验回放和目标网络，但Q值函数现在依赖于动作和跳过时长。
• 该架构在使用Arcade Learning Environment（ALE）基准的Atari 2600环境中进行了评估。

实验结果

研究问题

• RQ1 将帧跳过率作为当前状态的函数进行学习，是否能在Atari 2600游戏中带来相较于固定帧跳过率的性能提升？
• RQ2 在Seaquest等复杂环境中，动态帧跳过是否能提升训练过程中的样本效率？
• RQ3 DFDQN在硬探索和稀疏奖励游戏中的表现，与标准DQN和DuDQN相比如何？

主要发现

• 在Seaquest环境中，DFDQN的最终得分高于标准DQN和DuDQN，表明通过自适应动作重复，策略学习能力得到提升。
• 动态帧跳过机制带来了更高效的训练，表现为在困难关卡中收敛更快、样本效率更高。
• 模型在稳定、可预测的游戏状态中学习跳过更多帧，在高不确定性或关键时刻则减少跳过，展现出上下文感知行为。
• 实证结果表明，动态跳过率策略在多个Atari游戏中具有泛化能力，且在硬探索任务中表现一致提升。