[論文レビュー] Beyond Target Networks: Improving Deep Q-learning with Functional Regularization.

Alexandre Piché, Joseph Marino+3 more|arXiv (Cornell University)|Jun 4, 2021

Reinforcement Learning in Robotics参考文献 53被引用数 7

ひとこと要約

この論文は、深層Q学習におけるターゲットネットワークの代替として機能的正則化を提案し、最新のQネットワークパラメータを用いてターゲットを計算することで、安定性を損なわずトレーニングを高速化する。この手法は、ターゲットネットワークに内在する遅延報酬伝播を回避することで、アタリおよびロボット工学環境においてサンプル効率とパフォーマンスを向上させる。

ABSTRACT

Target networks are at the core of recent success in Reinforcement Learning. They stabilize the training by using old parameters to estimate the $Q$-values, but this also limits the propagation of newly-encountered rewards which could ultimately slow down the training. In this work, we propose an alternative training method based on functional regularization which does not have this deficiency. Unlike target networks, our method uses up-to-date parameters to estimate the target $Q$-values, thereby speeding up training while maintaining stability. Surprisingly, in some cases, we can show that target networks are a special, restricted type of functional regularizers. Using this approach, we show empirical improvements in sample efficiency and performance across a range of Atari and simulated robotics environments.

研究の動機と目的

• 深層Q学習におけるターゲットネットワークが新しく得られた報酬の伝播を遅らせるという制限を解決すること。
• 安定性を保ちながら、ターゲットQ値推定に現在のネットワークパラメータを用いるトレーニング手法を開発すること。
• ターゲットネットワークが機能的正則化の制限付き特別ケースであることを示し、より広範な理論的枠組みを明らかにすること。
• 特にアタリおよびシミュレーテッドロボティクスタスクにおける深層強化学習環境において、サンプル効率とパフォーマンスを向上させること。

提案手法

• トレーニング中にQネットワークが参照関数から逸脱するのを防ぐための機能的正則化アプローチをターゲットネットワークに代えて採用する。
• 最新の、アップデート済みのQネットワークパラメータを用いてターゲットQ値を計算することで、新しい報酬の即時伝播を可能にする。
• 滑らかで安定した更新を促進する正則化項を損失関数に組み込むことで、正則化を定式化する。
• Q関数の関数的形を制約することで、学習の発散を低減するため、この手法は暗黙的に学習を安定化させる。
• 特定の制約下では、正則化がターゲットネットワークを特別ケースとして包含し、一般化されることを示している。
• アーキテクチャの変更なしに、標準DQNフレームワークと互換性を保ちつつ、エンドツーエンドでこのアプローチを適用する。

実験結果

リサーチクエスチョン

• RQ1 機能的正則化は、深層Q学習におけるトレーニング安定性を維持したままターゲットネットワークに置き換え可能か？
• RQ2 ターゲットQ値推定に最新のパラメータを用いることで、学習が速くなり、サンプル効率が向上するか？
• RQ3 収束速度および最終パフォーマンスの観点から、機能的正則化はターゲットネットワークと比べてどうか？
• RQ4 ターゲットネットワークは、正式に機能的正則化の制限付き特別ケースとして理解できるか？
• RQ5 提案手法は、アタリおよびシミュレーテッドロボティクスタスクを含む多様な環境に一般化可能か？

主な発見

• 機能的正則化により、最新のネットワークパラメータを用いてターゲットQ値を推定することで、ターゲットネットワークに内在する遅延を回避し、トレーニングが高速化される。
• 複数のアタリ環境において、標準DQNにターゲットネットワークを用いた場合と比較して、本手法は優れたサンプル効率を達成する。
• 実験的結果から、さまざまなシミュレーテッドロボティクスタスクにおいて、評価指標と学習速度の両方で性能向上が示された。
• 理論的分析により、ターゲットネットワークが機能的正則化の特別で制限付きケースであることが明らかになった。
• 追加のハイパーパrameterやアーキテクチャの変更なしに、トレーニングの安定性を維持する。
• 評価環境において、ベースライン手法と比較して、本手法はより速い収束とより優れた最終パフォーマンスを達成した。