[论文解读] Do recent advancements in model-based deep reinforcement learning really improve data efficiency?

Kacper Kielak|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 19被引用 30

一句话总结

本论文表明，通过更频繁地更新网络参数，对Rainbow DQN代理进行修改后，其样本效率可与当前最先进模型-based强化学习方法相媲美甚至更优——且无需学习环境模型。其主要贡献在于倡导这种简单、低复杂度的Rainbow DQN变体，作为未来样本效率研究的新基线。

ABSTRACT

Reinforcement learning (RL) has seen great advancements in the past few years. Nevertheless, the consensus among the RL community is that currently used model-free methods, despite all their benefits, suffer from extreme data inefficiency. To circumvent this problem, novel model-based approaches were introduced that often claim to be much more efficient than their model-free counterparts. In this paper, however, we demonstrate that the state-of-the-art model-free Rainbow DQN algorithm can be trained using a much smaller number of samples than it is commonly reported. By simply allowing the algorithm to execute network updates more frequently we manage to reach similar or better results than existing model-based techniques, at a fraction of complexity and computational costs. Furthermore, based on the outcomes of the study, we argue that the agent similar to the modified Rainbow DQN that is presented in this paper should be used as a baseline for any future work aimed at improving sample efficiency of deep reinforcement learning.

研究动机与目标

• 挑战当前普遍认为模型-based强化学习在数据效率上天然优于模型-free方法的假设。
• 探究现有模型-free算法（如Rainbow DQN）是否可通过极少修改实现更优或相当的样本效率。
• 识别一种更简单、复杂度更低的基线，其在样本效率上优于复杂的模型-based方法。
• 通过证明训练频率显著影响数据效率，重新评估深度强化学习当前的基准测试标准。

提出的方法

• 本研究通过提高训练过程中神经网络参数更新的频率，对Rainbow DQN算法进行修改。
• 与仅在每个回合或轨迹结束后更新网络不同，该算法在环境交互的每几步后即执行参数更新。
• 修改后的代理采用标准的Rainbow DQN架构，包含优先经验回放和双重网络结构，但更新调度策略得到增强。
• 在标准MuJoCo控制基准上评估修改后Rainbow DQN的性能，并与当前最先进模型-based强化学习方法进行直接对比。
• 训练在相同的超参数和计算约束下进行，以确保公平比较。
• 通过分析结果评估样本效率，以达到目标性能阈值所需的环境交互次数作为衡量标准。

实验结果

研究问题

• RQ1 像Rainbow DQN这样的修改版模型-free代理能否实现与当前最先进模型-based强化学习方法相当的样本效率？
• RQ2 在不增加模型复杂度的前提下，提高Rainbow DQN中网络更新频率是否能显著提升数据效率？
• RQ3 在优化训练调度的背景下，当前认为模型-based强化学习在数据效率上优于模型-free强化学习的共识是否仍然成立？
• RQ4 更简单、模型-free的基线是否能在样本效率和计算成本方面优于复杂的模型-based方法？

主要发现

• 通过频繁更新网络参数的修改版Rainbow DQN在MuJoCo基准上的表现与当前最先进模型-based强化学习方法相当或更优。
• 该提升的样本效率无需学习环境模型，显著降低了计算和实现复杂度。
• 该修改后的代理仅使用典型模型-free基线所需环境交互次数的一小部分，即可达到目标性能水平。
• 结果表明，当前模型-based方法可能并未如宣称的那样具备更高的数据效率，尤其是在模型-free代理采用最优更新频率时。
• 本研究证明，训练调度超参数（如更新频率）对模型-free强化学习中的样本效率具有显著影响。
• 作者得出结论：应将修改后的Rainbow DQN采纳为未来深度强化学习中样本效率研究的新标准基线。