[論文レビュー] Convergent and Efficient Deep Q Network Algorithm

Zhikang T. Wang, Masahito Ueda|arXiv (Cornell University)|Jun 29, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 5

ひとこと要約

本論文では、報酬ネットワークの更新時に損失の増加を排除することで、損失の単調減少を保証する収束性と効率性を兼ね備えたC-DQNという深層Qネットワークアルゴリズムを提案する。これにより、高い割引率（約0.9998）でも収束が保証され、標準DQNが失敗するいくつかのAtari 2600ゲームを正しく学習する。複雑な環境における頑健性とスケーラビリティが示された。

ABSTRACT

Despite the empirical success of the deep Q network (DQN) reinforcement learning algorithm and its variants, DQN is still not well understood and it does not guarantee convergence. In this work, we show that DQN can indeed diverge and cease to operate in realistic settings. Although there exist gradient-based convergent methods, we show that they actually have inherent problems in learning dynamics which cause them to fail even in simple tasks. To overcome these problems, we propose a convergent DQN algorithm (C-DQN) that is guaranteed to converge and can work with large discount factors (0.9998). It learns robustly in difficult settings and can learn several difficult games in the Atari 2600 benchmark that DQN fails to solve. Our codes have been publicly released and can be used to reproduce our results.

研究の動機と目的

• 深層Qネットワーク（DQN）アルゴリズムの実験的成功にもかかわらず、理論的収束保証の欠如に取り組む。
• 既存の勾配ベースの収束性を持つ手法が、学習ダイナミクスに劣り、単純なタスクでも失敗することを特定する。
• 大規模強化学習タスクにおいても効率性とスケーラビリティを維持しながら収束を保証する新しいDQN変種を開発する。
• 高い割引率（γ ≈ 0.9998）での安定した学習と、挑戦的なAtari 2600環境における頑健なパフォーマンスを実現する。

提案手法

• 報酬ネットワークの更新時に損失が増加しないようにする修正された損失関数を提案し、これにより損失の単調減少と収束を保証する。
• 学習の安定化のため、μとσを初期経験遷移から計算した\hat{Q} = (Q - μ)/σという正規化Q関数を用いる。
• Q値が等しい場合に意図しないグリーディ方策の変化を防ぐために、Q更新のための修正された学習ルールを適用する。
• γ₀を用いたタイムスケールに配慮した正規化戦略を導入し、ランダム方策と学習済み方策の報酬ダイナミクスを一致させる。
• ベルマン方程式に基づく修正された更新ルールを用いることで、構造的に損失の増加を回避する報酬ネットワーク更新メカニズムを実装する。
• 実験では学習率を4×10⁻⁵、γ₀ = 0.9998として設定し、正規化は最初の50,000件の遷移（報酬が0のエピソードを除く）から計算する。

実験結果

リサーチクエスチョン

• RQ1 効率性とスケーラビリティを維持しながら収束を保証する深層Qネットワークアルゴリズムを設計できるか？
• RQ2 既存の勾配ベースの収束性を持つ手法は、理論的収束保証があるにもかかわらず、実際にはなぜ失敗するのか？
• RQ3 DQNが現実の環境で発散する原因は何か。これを形式的にどのように是正できるか？
• RQ4 関数近似を伴う状況でも、損失関数が学習中に単調に減少するような損失関数を構築できるか？
• RQ5 初期経験から計算したμとσを用いたQ値の正規化は、高割引率設定における学習安定性と収束性にどのように影響するか？

主な発見

• C-DQNは学習中に損失関数が単調に減少することを保証し、理論的収束性を達成する。
• アルゴリズムは、HeroやMontezuma’s Revengeなど、標準DQNが失敗するいくつかのAtari 2600ゲームを正常に学習する。
• C-DQNは高い割引率（γ ≈ 0.9998）でも安定した学習を実現し、効果的な長期間計画が可能になる。
• 初期経験から計算したμとσを用いたQ値の正規化は、学習の安定性と収束性を向上させる。
• 図15に示すように、同じ実験設定下で、C-DQNはダブルDQNおよび人間ベースラインを上回るパフォーマンスを達成する。
• 改善は見られるが、報酬ダイナミクスがランダム方策と学習済み方策で著しく異なる、高確率的環境（例：Breakout）では依然として正規化戦略に課題が残る。