[论文解读] Learning from Demonstrations for Real World Reinforcement Learning

Todd Hester, Matej Vecerík+10 more|arXiv (Cornell University)|Jan 1, 2017

Reinforcement Learning in Robotics参考文献 35被引用 99

一句话总结

本文提出深度Q学习演示方法（DQfD），通过将时序差分学习与专家演示的大-margin分类相结合，加速真实环境中的深度强化学习。DQfD显著提升了初始性能和样本效率，在42款Atari游戏中有27款优于DQN，即使在演示数据质量较差的情况下也表现出鲁棒性。

ABSTRACT

Deep reinforcement learning (RL) has achieved several high profile successes in difficult control problems. However, these algorithms typically require a huge amount of data before they reach reasonable performance. In fact, their performance during learning can be extremely poor. This may be acceptable for a simulator, but it severely limits the applicability of deep RL to many real-world tasks, where the agent must learn in the real environment. In this paper we study a setting where the agent may access data from previous control of the system. We present an algorithm, Deep Q-learning from Demonstrations (DQfD), that leverages this data to massively accelerate the learning process even from relatively small amounts of demonstration data. DQfD works by combining temporal difference updates with large-margin classification of the demonstrator's actions. We show that DQfD has better initial performance than Deep Q-Networks (DQN) on 40 of 42 Atari games and it receives more average rewards than DQN on 27 of 42 Atari games. We also demonstrate that DQfD learns faster than DQN even when given poor demonstration data.

研究动机与目标

• 解决深度强化学习在真实环境中样本效率低下和数据需求量大的问题。
• 通过利用专家演示数据，实现真实世界控制任务中的更快学习。
• 在训练初期，尤其在标准DQN表现较差的阶段，提升初始性能。
• 开发一种即使在演示数据噪声大或次优时仍有效的算法。

提出的方法

• DQfD将时序差分学习与大-margin分类相结合，利用演示数据和环境交互训练Q网络。
• 利用专家演示监督动作选择，应用大-margin损失确保网络以高置信度预测演示者动作。
• 将演示数据整合到Q-learning更新过程中，将专家动作作为训练期间的监督目标。
• 采用混合学习目标，平衡时序差分更新与专家动作分类，提升策略稳定性和收敛性。
• 通过降低或过滤不一致的专家轨迹，使方法对低质量演示数据具有鲁棒性。

实验结果

研究问题

• RQ1 专家演示是否能显著提升深度Q网络在真实世界强化学习中的初始性能？
• RQ2 在Atari游戏中，DQfD与标准DQN相比，在样本效率和最终性能方面表现如何？
• RQ3 当提供噪声大或次优的演示数据时，DQfD在多大程度上能维持性能？
• RQ4 将监督分类与时序差分学习结合，是否能加快真实世界强化学习设置中的收敛速度？

主要发现

• 在42款Atari游戏中，DQfD在40款中初始性能优于DQN，证明了从一开始就具备更高的学习效率。
• 平均而言，DQfD在42款Atari游戏中的27款获得更高奖励，表明性能提升具有一致性。
• 即使使用低质量的演示数据，DQfD仍比DQN学习得更快，显示出对次优专家轨迹的鲁棒性。
• 通过大-margin分类整合专家演示，增强了策略稳定性，并降低了真实世界强化学习中的样本复杂度。