[论文解读] Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari

Kacper Kielak|arXiv (Cornell University)|Mar 23, 2020

Neural dynamics and brain function被引用 5

一句话总结

本文表明，近期关于深度强化学习在Atari游戏中数据效率提升的宣称，很大程度上源于不公平的基线，而非算法本身的优越性。通过提高标准DQN（即OTDQN）的训练更新频率，作者实现了与最先进方法相当的性能——且复杂度和计算量更低——因此提出将此修改后的DQN作为未来研究中更公平的基线。

ABSTRACT

Reinforcement learning (RL) has seen great advancements in the past few years. Nevertheless, the consensus among the RL community is that currently used methods, despite all their benefits, suffer from extreme data inefficiency, especially in the rich visual domains like Atari. To circumvent this problem, novel approaches were introduced that often claim to be much more efficient than popular variations of the state-of-the-art DQN algorithm. In this paper, however, we demonstrate that the newly proposed techniques simply used unfair baselines in their experiments. Namely, we show that the actual improvement in the efficiency came from allowing the algorithm for more training updates for each data sample, and not from employing the new methods. By allowing DQN to execute network updates more frequently we manage to reach similar or better results than the recently proposed advancement, often at a fraction of complexity and computational costs. Furthermore, based on the outcomes of the study, we argue that the agent similar to the modified DQN that is presented in this paper should be used as a baseline for any future work aimed at improving sample efficiency of deep reinforcement learning.

研究动机与目标

• 调查近期声称提升数据效率的深度强化学习方法是否真正更优，还是仅因基线不公平而受益。
• 识别最先进方法在Atari游戏中表现提升的根本原因，特别是样本效率方面的提升。
• 证明当适当调整更新频率时，标准DQN可实现与先进方法相当或更优的数据效率。
• 倡导在未来的样本高效深度强化学习研究中，使用改进的DQN（如OTDQN）作为公平、简单且有效的基线。
• 挑战认为在视觉丰富的环境（如Atari）中，必须采用复杂模型基或高级模型自由方法才能实现数据效率的观念。

提出的方法

• 作者提出OTDQN，一种改进的DQN变体，通过调整训练更新频率与环境步长速率的关系，增加每次环境交互的网络更新次数。
• 采用与标准DQN一致的固定回放缓冲区和目标网络，但修改更新调度，使学习更新更频繁，而不增加环境交互次数。
• 在与先前工作相同的训练预算（如1000万帧）下进行评估，确保不同算法之间的公平比较。
• 在相同数据设置和训练时长下，将OTDQN与最先进方法（如EBU、SimPLe和OTRainbow）进行对比。
• 在25款Atari游戏中分析性能，通过平均得分和相对表现评估数据效率。
• 证明先进方法的性能提升主要源于更高的更新与交互比，而非架构优势。

实验结果

研究问题

• RQ1 近期用于Atari的模型自由与模型基强化学习方法在数据效率上的提升，其真正原因在多大程度上是由于更高的更新频率？
• RQ2 当适当调整更新频率时，标准DQN算法能否实现与先进方法相当的数据效率？
• RQ3 为何许多近期强化学习论文在未使用公平基线的情况下，仍报告样本效率的显著提升？
• RQ4 先进方法的复杂性（如SimPLe中的世界模型）是否真正带来了数据效率方面的实际性能增益？
• RQ5 什么构成了评估未来样本高效深度强化学习改进的公平且有效的基线？

主要发现

• 通过提高更新频率的改进型DQN（OTDQN），在仅使用标准DQN所需数据5%–10%的情况下，性能可与EBU和SimPLe等先进方法相当或更优。
• 近期研究中报告的性能提升，主要归因于更高的训练更新与环境交互比，而非算法创新。
• 在Atlantis和VideoPinball等游戏中，OTDQN显著优于EBU，表明EBU的优势源于更高的更新频率，而非更优越的架构。
• OTDQN在计算成本远低于SimPle的情况下，实现了与OTRainbow和SimPle相当或更优的结果——OTDQN在8个CPU核心上24小时内即可完成训练，而SimPle则需超过三周。
• 研究表明，当适当调优时，模型自由DQN在数据效率和Atari上的性能方面，仍能与复杂模型基方法保持竞争力。
• 作者结论认为，由于其简洁性、稳定性和公平性，OTDQN应作为未来样本高效深度强化学习研究的标准基线。