[論文レビュー] Dueling Network Architectures for Deep Reinforcement Learning

Ziyu Wang, Tom Schaul+4 more|arXiv (Cornell University)|Nov 20, 2015

Reinforcement Learning in Robotics参考文献 23被引用数 1,813

ひとこと要約

この論文は、深層強化学習におけるダイングネットワークアーキテクチャを導入し、状態価値関数 $V(s)$ と行動アドバンテージ関数 $A(s,a)$ を別々のストリームに分解することで、共通の特徴エンコーダーを共有する。これらのスティームを組み合わせて $Q(s,a) = V(s) + \left(A(s,a) - \frac{1}{|\mathcal{A}|}\sum_{a'} A(s,a')\right)$ を得ることで、特に多くの類似価値を持つ行動を含む環境において、より効率的かつ安定した学習が可能になる。優先順位付き経験再生を組み合わせることで、Atari 2600ベンチマークで最先端の性能を達成した。

ABSTRACT

In recent years there have been many successes of using deep representations in reinforcement learning. Still, many of these applications use conventional architectures, such as convolutional networks, LSTMs, or auto-encoders. In this paper, we present a new neural network architecture for model-free reinforcement learning. Our dueling network represents two separate estimators: one for the state value function and one for the state-dependent action advantage function. The main benefit of this factoring is to generalize learning across actions without imposing any change to the underlying reinforcement learning algorithm. Our results show that this architecture leads to better policy evaluation in the presence of many similar-valued actions. Moreover, the dueling architecture enables our RL agent to outperform the state-of-the-art on the Atari 2600 domain.

研究の動機と目的

• 状態価値関数と行動アドバンテージ関数の推定を分離することで、深層強化学習における方策評価を改善すること。
• 特に多くの類似または冗長な行動を含む状態において、行動間の学習をより効率的に行えるようにすること。
• 根本的な強化学習アルゴリズムを変更せずに、行動間で一般化しやすいニューラルネットワークアーキテクチャを設計すること。
• 従来のシングルストリームQネットワークと比較して、Atari 2600強化学習ベンチマークで優れたパフォーマンスを達成すること。

提案手法

• ダイングアーキテクチャは、状態価値関数 $V(s)$ を推定するストリームと、状態行動アドバンテージ関数 $A(s,a)$ を推定するストリームの2本の並列ストリームを用いる。
• 両ストリームは、入力観測から共有表現を学ぶために共通の畳み込み特徴抽出モジュールを共有する。
• 最終的な $Q$-値は $Q(s,a) = V(s) + \left(A(s,a) - \frac{1}{|\mathcal{A}|}\sum_{a'} A(s,a')\right)$ により計算され、アドバンテージが平均行動アドバンテージに対して正規化されることを保証する。
• 学習アルゴリズムに変更を加えずに、標準的なディープQラーニング、経験再生、ターゲットネットワークを用いてネットワークを訓練する。
• 入力フレームに対する価値スティームおよびアドバンテージスティームのヤコビアンを用いて、セマンティックマップ（サリエンシー・マップ）を計算し、注目メカニズムを可視化する。
• ダイングネットワークを優先順位付き経験再生および勾配クリッピングと組み合わせることで、さらにサンプル効率と学習安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層Qネットワークにおける価値関数とアドバンテージ関数の分離が、より安定的かつ効率的な方策評価をもたらすか？
• RQ2 多くの行動を含む環境、特に行動価値が類似している状況において、ダイングアーキテクチャが学習パフォーマンスを向上させるか？
• RQ3 根本的な強化学習アルゴリズムを変更せずに、ダイングアーキテクチャが行動間で一般化できるか？
• RQ4 Atari 2600ベンチマークにおいて、シングルストリームQネットワークと比較して、ダイングアーキテクチャはサンプル効率と最終パフォーマンスの点で優れているか？

主な発見

• 多くの類似価値を持つ行動を含む環境において、ダイングアーキテクチャは方策評価を顕著に改善し、微小な価値差による不安定性を低減する。
• 優先順位付き経験再生と組み合わせた場合、57ゲームのAtari 2600ベンチマークで平均人間性能スコア591%、中央値172%を達成した。
• サリエンシー・マップは、価値スティームが長期的な状態関連特徴（例：道路の先端やスコア）に注目しているのに対し、アドバンテージスティームは行動が即座に影響を与える場合にのみ活性化されることを示している（例：Enduroにおける近隣の車両）。
• ダイングネットワークは、シングルストリームDQNベースラインおよび優先順位付きDQNベースラインを上回り、Atari 2600領域で新たな最先端性能を確立した。
• 価値スティームの頻繁な更新により、$V(s)$ の近似が向上し、時系列差分学習の安定性が向上する。
• ダイングネットワークを優先順位付き再生と勾配クリッピングと組み合わせることで、顕著なパフォーマンス向上が得られ、行動Q値のノイズや微小な差に対してもロバストであることが示された。