[论文解读] An Analysis of Frame-skipping in Reinforcement Learning

Shivaram Kalyanakrishnan, Siddharth Aravindan+6 more|arXiv (Cornell University)|Feb 7, 2021

Reinforcement Learning in Robotics参考文献 34被引用 12

一句话总结

本文分析了强化学习中的帧跳过机制，表明通过动作重复实现的帧跳过可保持价值函数估计的渐近一致性，并通过缩短有效任务时域提升学习效率。本文引入了“惯性代价”以界定动作重复带来的损失，并通过实证结果表明，在如机器人足球防守等复杂任务中，最优帧跳过值（例如 d=32）能显著提升性能。

ABSTRACT

In the practice of sequential decision making, agents are often designed to sense state at regular intervals of $d$ time steps, $d > 1$, ignoring state information in between sensing steps. While it is clear that this practice can reduce sensing and compute costs, recent results indicate a further benefit. On many Atari console games, reinforcement learning (RL) algorithms deliver substantially better policies when run with $d > 1$ -- in fact with $d$ even as high as $180$. In this paper, we investigate the role of the parameter $d$ in RL; $d$ is called the "frame-skip" parameter, since states in the Atari domain are images. For evaluating a fixed policy, we observe that under standard conditions, frame-skipping does not affect asymptotic consistency. Depending on other parameters, it can possibly even benefit learning. To use $d > 1$ in the control setting, one must first specify which $d$-step open-loop action sequences can be executed in between sensing steps. We focus on "action-repetition", the common restriction of this choice to $d$-length sequences of the same action. We define a task-dependent quantity called the "price of inertia", in terms of which we upper-bound the loss incurred by action-repetition. We show that this loss may be offset by the gain brought to learning by a smaller task horizon. Our analysis is supported by experiments on different tasks and learning algorithms.

研究动机与目标

• 理解为何在动作序列受限的情况下，通过动作重复实现的帧跳过仍能提升强化学习性能。
• 在使用线性函数近似的预测设置下，正式分析帧跳过机制下价值函数估计的一致性。
• 通过一种称为“惯性代价”的任务特定度量，量化因动作重复导致的性能损失。
• 探究尽管存在该损失，帧跳过是否仍能整体提升性能，特别是通过缩短任务时域实现。
• 在元学习框架下，评估使用多臂老虎机方法在线调优帧跳过参数 d 的有效性。

提出的方法

• 将帧跳定为每 d 个时间步采样一次状态，其中 d ≥ 1，并将动作重复设为默认策略，即连续重复同一动作 d 次。
• 引入“惯性代价”作为任务相关度量，用于上界界定因将动作序列限制为重复而造成的损失。
• 分析帧跳过下的预测一致性，证明在使用线性函数近似时，价值函数估计仍保持渐近一致性。
• 证明帧跳过可缩短有效任务时域，从而可能抵消动作重复带来的损失，提升学习效率。
• 采用元强化学习方法，使用 EXP3.1 算法将 d 在线视为多臂老虎机问题中的臂，每条完整轨迹的性能作为回报进行评估。
• 在多个环境中使用 Sarsa(λ) 结合瓦片编码与超参数调优（α=0.1，ε=0.01，λ=0.8），包括 Atari 游戏和 HFO 机器人足球环境。

实验结果

研究问题

• RQ1 在使用线性函数近似时，通过动作重复实现的帧跳过是否能保持价值函数估计的渐近一致性？
• RQ2 动作重复导致的性能损失是否存在理论上的上界？该上界在不同任务中如何变化？
• RQ3 帧跳过导致的有效任务时域缩短，是否足以补偿动作重复带来的损失，从而实现更好的学习效果？
• RQ4 是否能够通过元学习方法在线自动调优帧跳过参数 d？与固定 d 相比，其性能表现如何？
• RQ5 在如机器人足球防守这类需要长动作序列的任务中，动作重复如何影响探索与学习成功率？

主要发现

• 在使用线性函数近似时，通过动作重复实现的帧跳过可保持价值函数估计的渐近一致性，确保学习的可靠性。
• “惯性代价”为动作重复导致的性能损失提供了理论上的上界，该上界依赖于任务特性，且可被更短的有效任务时域所抵消。
• 在 2v2 HFO 足球环境中，Sarsa 使用 d=32 的性能优于 2010/2012 年 RoboCup 冠军队防守策略，在 d=128 时达到 15% 的成功率，而 d=1 时仅为 10%。
• 基于 EXP3.1 的元算法成功识别出 d=31 为 {1,2,4,8,16,32,64,81,151} 中的最优值，且 d=81 和 d=151 因收敛速度快也常被选择。
• 动作重复显著增强了探索能力，使 HFO 防守任务中的成功率从 d=1 时的 10% 提升至 d=128 时的 15%。
• FiGAR-Sarsa（将 d 视为状态-动作空间的一部分）虽提升了学习效果，但在 50,000 个训练周期后仍不及使用固定 d=32 的 Sarsa 性能。