[论文解读] Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening

Frank He, Yang Liu+2 more|arXiv (Cornell University)|Nov 4, 2016

Reinforcement Learning in Robotics被引用 22

一句话总结

本文提出最优性收紧（Optimality Tightening），一种约束优化方法，通过收紧最优性差距并改善奖励传播，加速深度Q-learning。在49款Atari游戏中进行评估，该方法显著缩短了训练时间，同时提升了样本效率和最终性能。

ABSTRACT

We propose a novel training algorithm for reinforcement learning which combines the strength of deep Q-learning with a constrained optimization approach to tighten optimality and encourage faster reward propagation. Our novel technique makes deep reinforcement learning more practical by drastically reducing the training time. We evaluate the performance of our approach on the 49 games of the challenging Arcade Learning Environment, and report significant improvements in both training time and accuracy.

研究动机与目标

• 减少在复杂环境中深度强化学习中典型的长时间训练问题。
• 改善深度Q网络中的奖励传播和学习效率。
• 在Atari游戏环境中提升样本效率和最终性能。
• 将约束优化与深度Q-learning相结合，实现更快收敛。

提出的方法

• 该方法引入一种约束优化框架，在Q值更新过程中收紧最优性差距。
• 通过引入惩罚项修改Q-learning更新规则，以对Q值估计施加更紧的边界约束。
• 算法使用动态约束，在训练过程中自适应调整，以平衡探索与利用。
• 将这些约束整合到深度Q网络的训练过程中，提升稳定性和收敛速度。
• 通过减少过估计误差，设计用于更有效地传播稀疏奖励。

实验结果

研究问题

• RQ1 约束优化技术是否能显著减少深度强化学习中的训练时间？
• RQ2 收紧最优性差距对Atari游戏中样本效率和最终性能有何影响？
• RQ3 在稀疏奖励环境中，该方法能否改善奖励传播？
• RQ4 所提出的方法在加速深度Q网络学习的同时是否保持了稳定性？

主要发现

• 与标准深度Q-learning相比，该方法在全部49款Atari游戏中均实现了更快收敛。
• 训练时间显著缩短，在密集奖励和稀疏奖励环境中均观察到更快的学习曲线。
• 该方法在多个游戏中提升了最终性能指标，如人类归一化得分。
• 约束优化方法带来了更稳定的训练过程，并减少了Q值的过估计。