[論文レビュー] Learning from Demonstrations for Real World Reinforcement Learning

Todd Hester, Matej Vecerík+10 more|arXiv (Cornell University)|Jan 1, 2017

Reinforcement Learning in Robotics参考文献 35被引用数 99

ひとこと要約

本稿では、時間差学習と専門家のデモを用いたマージン最大化分類を組み合わせることで、現実世界の環境における深層強化学習の速度を向上させる手法であるDeep Q-learning from Demonstrations（DQfD）を提案する。DQfDは初期性能とサンプル効率を著しく向上させ、42個のAtariゲームのうち27個でDQNを上回り、劣悪なデモデータに対しても頑健であることが示された。

ABSTRACT

Deep reinforcement learning (RL) has achieved several high profile successes in difficult control problems. However, these algorithms typically require a huge amount of data before they reach reasonable performance. In fact, their performance during learning can be extremely poor. This may be acceptable for a simulator, but it severely limits the applicability of deep RL to many real-world tasks, where the agent must learn in the real environment. In this paper we study a setting where the agent may access data from previous control of the system. We present an algorithm, Deep Q-learning from Demonstrations (DQfD), that leverages this data to massively accelerate the learning process even from relatively small amounts of demonstration data. DQfD works by combining temporal difference updates with large-margin classification of the demonstrator's actions. We show that DQfD has better initial performance than Deep Q-Networks (DQN) on 40 of 42 Atari games and it receives more average rewards than DQN on 27 of 42 Atari games. We also demonstrate that DQfD learns faster than DQN even when given poor demonstration data.

研究の動機と目的

• 現実世界の環境における深層強化学習の低サンプル効率と高いデータ要件を解決すること。
• 専門家のデモデータを活用することで、現実世界の制御タスクにおける学習を高速化すること。
• 標準DQNが性能を発揮できない初期段階においても、訓練中の初期性能を向上させること。
• デモデータがノイズ混じりまたは劣悪であっても効果を発揮する手法を開発すること。

提案手法

• DQfDは時間差学習とマージン最大化分類を組み合わせ、デモデータと環境との相互作用の両方を用いてQネットワークを学習する。
• 専門家のデモを用いて行動選択を監視し、ネットワークがデモレータの行動を高い信頼度で予測できるように、マージン最大化損失を適用する。
• アルゴリズムはデモデータをQ学習の更新プロセスに統合し、訓練中に専門家の行動を教師付きのターゲットとして扱う。
• 時間差更新と専門家の行動分類の両方をバランスさせるハイブリッド学習目的関数を適用することで、方策の安定性と収束性を向上させる。
• 不一致する専門家の軌道を軽減またはフィルタリングすることで、低品質なデモに対して頑健であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 専門家のデモは、現実世界の強化学習における深層Qネットワークの初期性能を著しく向上させることができるか？
• RQ2 DQfDは、Atariゲームにおけるサンプル効率と最終的性能の面で、標準DQNと比べてどのように異なるか？
• RQ3 ノイズ混じりまたは劣悪なデモデータが提供された場合、DQfDはどの程度の性能を維持できるか？
• RQ4 教師付き分類と時間差学習を組み合わせることで、現実世界のRL設定における収束が速くなるか？

主な発見

• DQfDは42個のAtariゲームのうち40個でDQNよりも優れた初期性能を達成し、初期段階からの学習効率の向上を示した。
• 平均して、DQfDは42個のAtariゲームのうち27個でDQNよりも高い報酬を得ており、一貫した性能向上が確認された。
• 劣悪な品質のデモデータでさえ、DQfDはDQNよりも速く学習を達成し、劣悪な専門家の軌道に対しても頑健であることが示された。
• マージン最大化分類を用いた専門家のデモの統合により、現実世界のRLにおける方策の安定性が向上し、サンプル複雑性が低減された。