[論文レビュー] Implementing the Deep Q-Network

Melrose Roderick, James MacGlashan+1 more|arXiv (Cornell University)|Nov 20, 2017

Big Data and Business Intelligence参考文献 4被引用数 56

ひとこと要約

この論文は Deep Q-Network (DQN) の結果を再現し、 undocumented implementation details を強調し、安定性と性能に関する洞察を含む、より速く、柔軟な DQN 実装を提供する。

ABSTRACT

The Deep Q-Network proposed by Mnih et al. [2015] has become a benchmark and building point for much deep reinforcement learning research. However, replicating results for complex systems is often challenging since original scientific publications are not always able to describe in detail every important parameter setting and software engineering solution. In this paper, we present results from our work reproducing the results of the DQN paper. We highlight key areas in the implementation that were not covered in great detail in the original paper to make it easier for researchers to replicate these results, including termination conditions and gradient descent algorithms. Finally, we discuss methods for improving the computational performance and provide our own implementation that is designed to work with a range of domains, and not just the original Arcade Learning Environment [Bellemare et al., 2013].

研究の動機と目的

• AtariゲームでDQNの結果を再現して性能を検証する。
• 重要だが十分には説明されていない実装の詳細を特定し、文書化する。
• さまざまな領域でDQN実装の計算効率と汎用性を向上させる。
• 再現性と拡張性を促進するオープンソースの実装を提供する。

提案手法

• CNN関数近似器を用いたDQNアルゴリズムを提示する。
• トレーニングデータの相関を除去するため、ランダムミニバッチを用いた経験再現を使用する。
• 学習を安定化させるため、周期的な更新を伴うターゲットネットワークを採用する。
• 実践的な実装の詳細（例：no-op開始、フレーム履歴、事前訓練ステップ）を説明する。
• 勾配降下法の最適化手法の選択と、それらが学習の安定性と速度に与える影響を比較する。
• 元のDQN実装に対する性能改善とスピードアップを示す。

実験結果

リサーチクエスチョン

• RQ1 元の論文を超えてDQNの性能を再現するために不可欠な実装選択は何か？
• RQ2 実践的な詳細（例：終了条件、勾配降下法の変種）が安定性と学習成果にどう影響するか？
• RQ3 Atari以外の領域でも結果を保ちながら、DQNの実装を高速化することは可能か？
• RQ4 観察される現象（例：壊滅的忘却）とそれを軽減するにはどうすればよいか？

主な発見

ゲーム	私たちの実装	元の実装
Pong	19.7 (± 1.1)	18.9 (± 1.3)
Breakout	339.3 (± 86.1)	401.2 (± 26.9)
Seaquest	6309 (± 1027)	5286 (± 1310)

• 著者の実装は元のDeepMind Atari DQN実装の約4倍の速さで動作する。
• 彼らのDQNは Pong: 19.7 (±1.1) vs 18.9 (±1.3); Breakout: 339.3 (±86.1) vs 401.2 (±26.9); Seaquest: 6309 (±1027) vs 5286 (±1310) となる。
• 終末終了条件のようなトレーニングの詳細や勾配降下法の最適化の含有は、性能と安定性に著しく影響する。
• 終末終了を用いると初期の学習安定性と全体的な性能が改善され、特にSeaquestのような複雑なゲームで顕著である。
• 勾配降下法の選択（RMSProp系の変種）と調整は学習速度と安定性に影響を与え、事前割り当てと cuDNN の加速がスピードアップに寄与する。
• 論文はパフォーマンスの変動現象（壊滅的忘却）と、それを緩和する戦略として最良の性能パラメータの保存などを議論している。