[論文レビュー] Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening

Frank He, Yang Liu+2 more|arXiv (Cornell University)|Nov 4, 2016

Reinforcement Learning in Robotics被引用数 22

ひとこと要約

本稿では、最適性ギャップを狭めることで深層Q学習の学習を加速する制約付き最適化手法であるOptimality Tighteningを提案する。49種類のAtariゲームで評価された結果、訓練時間の顕著な短縮に加え、サンプル効率と最終的な性能も向上した。

ABSTRACT

We propose a novel training algorithm for reinforcement learning which combines the strength of deep Q-learning with a constrained optimization approach to tighten optimality and encourage faster reward propagation. Our novel technique makes deep reinforcement learning more practical by drastically reducing the training time. We evaluate the performance of our approach on the 49 games of the challenging Arcade Learning Environment, and report significant improvements in both training time and accuracy.

研究の動機と目的

• 複雑な環境における深層強化学習で一般的に見られる長時間の訓練時間を短縮すること。
• 深層Qネットワークにおける報酬伝搬と学習効率の向上。
• Atariゲーム環境におけるサンプル効率と最終的性能の向上。
• 制約付き最適化を深層Q学習に統合し、収束を高速化すること。

提案手法

• 本手法は、Q値更新中に最適性ギャップを狭める制約付き最適化フレームワークを導入する。
• Q学習の更新ルールを、Q値推定の stricter 範囲を強制するペナルティ項を組み込むことで変更する。
• 学習中に適応する動的制約を用い、探索と活用のバランスを取る。
• これらの制約を深層Qネットワークの学習プロセスに統合し、安定性と収束速度を向上させる。
• 過大評価誤差を低減することで、スパarsな報酬環境における報酬伝搬をより効果的にする。

実験結果

リサーチクエスチョン

• RQ1 制約付き最適化技術は、深層強化学習における訓練時間を顕著に短縮できるか？
• RQ2 最適性ギャップを狭めることで、Atariゲームにおけるサンプル効率と最終的性能にどのような影響を与えるか？
• RQ3 本手法を用いることで、スパース報酬環境における報酬伝搬を改善できるか？
• RQ4 本手法は、深層Qネットワークにおける学習の加速を図りながらも、安定性を維持できるか？

主な発見

• 提案手法は、標準的な深層Q学習と比較して、49種類すべてのAtariゲームでより速い収束を達成した。
• 訓練時間が顕著に短縮され、報酬が豊富な環境でもスパースな環境でも、より速い学習曲線が観察された。
• 複数のゲームで、人間正規化スコアなどの最終的性能指標が向上した。
• 制約付き最適化アプローチにより、より安定した学習が実現し、Q値の過大評価が低減された。