[論文レビュー] On the Reduction of Variance and Overestimation of Deep Q-Learning

Mohammed Sabry, Amr M. A. Khalifa|arXiv (Cornell University)|Oct 14, 2019

Face and Expression Recognition参考文献 24被引用数 7

ひとこと要約

本論文は、Q値予測の分散と過大評価を低減するため、ドロップアウト正則化をディープQネットワーク（DQN）に統合することを提案する。トレーニング中にドロップアウトを適用することで、学習の安定化、ポリシー性能の分散低減、過大評価の軽減が達成され、CartPole や Gridworld といったベンチマーク環境において、安定性の向上と標準偏差の低減が顕著に示された。

ABSTRACT

The breakthrough of deep Q-Learning on different types of environments revolutionized the algorithmic design of Reinforcement Learning to introduce more stable and robust algorithms, to that end many extensions to deep Q-Learning algorithm have been proposed to reduce the variance of the target values and the overestimation phenomena. In this paper, we examine new methodology to solve these issues, we propose using Dropout techniques on deep Q-Learning algorithm as a way to reduce variance and overestimation. We also present experiments conducted on benchmark environments, demonstrating the effectiveness of our methodology in enhancing stability and reducing both variance and overestimation in model performance.

研究の動機と目的

• トレーニングの安定性とパフォーマンスを妨げる、深層Q学習（DQN）における継続的な分散と過大評価の問題に対処すること。
• 教師あり深層学習で一般的に用いられるドロップアウト正則化が、強化学習におけるこれらの問題を緩和できるかどうかを調査すること。
• さまざまなドロップアウトバージョンの有効性を実証的に評価し、DQNトレーニングの安定化と行動価値の過大評価低減に寄与するかを検証すること。
• ドロップアウトが、アーキテクチャの変更なしに、DQNパフォーマンスを向上させるシンプルで効果的な正則化手法として機能できることを示すこと。
• 複雑なRL環境における広範な適用性を高めるために、ドロップアウトを他のDQNバージョンと組み合わせる可能性を検討すること。

提案手法

• 標準DQNアーキテクチャの全結合層の間にドロップアウト層を適用し、特に入力層と最初の隠れ層の間、および2つの隠れ層の間を対象とした。
• 元のDQN論文の推奨に従い、隠れ層にはドロップアウト率0.5、入力層には0.2の標準ドロップアウトを用いた。
• トレーニング中にDQN損失関数を最小化するためにADAM最適化手法を採用し、標準DQNトレーニング手順と整合性を保った。
• ガウスドロップアウトや変動ドロップアウトを含む複数のドロップアウトバージョンを評価し、分散と過大評価への影響を比較した。
• 統計的信頼性を確保するため、50回の独立した試行を用いてベンチマーク環境（CartPole および Gridworld）でモデルを学習させた。
• 性能向上および分散低減の統計的有意性を評価するために、ウィルコクソン符号順位検定を用いた。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト技術は、DQNトレーニング中のQ値推定の分散を効果的に低減できるか？
• RQ2 ドロップアウトを適用することで、DQNにおける行動価値の過大評価が測定可能な程度に低減されるか？
• RQ3 ガウスドロップアウトや変動ドロップアウトなどの異なるドロップアウトバージョンは、環境に応じてDQNパフォーマンスの安定化にどのように寄与するか？
• RQ4 ドロップアウトを用いることで、コアアルゴリズムやネットワークアーキテクチャの変更なしに、DQNの収束性と安定性が向上するか？
• RQ5 複数回のトレーニング実行において、ドロップアウトによるパフォーマンス向上は統計的に有意であるか？

主な発見

• ドロップアウト-DQNは性能の分散を顕著に低減し、ガウスドロップアウトを用いた場合、標準DQNと比較して標準偏差が14.72%低減した。
• 変動ドロップアウトは、標準DQNと比較して分散を48.89%低減し、トレーニング安定性における強い統計的改善を示した。
• ドロップアウト-DQNのバージョンの1つが、累積報酬において標準DQNを上回り、より優れたポリシー学習を示した。
• Gridworld環境では、ドロップアウト-DQNが過大評価を低減し、予測されたQ値が最適ポリシーの真の値に近づいた。
• ドロップアウト-DQNの損失曲線は、標準DQNよりも速く収束し、より低い水準を維持した。これは、より正確な勾配推定と優れたポリシー評価を示している。
• ウィルコクソン符号順位検定による統計的分析により、すべてのテスト環境で分散低減が統計的に有意（p < 0.05）であることが確認された。