[論文レビュー] Rainbow: Combining Improvements in Deep Reinforcement Learning

Matteo Hessel, Joseph Modayil+8 more|arXiv (Cornell University)|Oct 6, 2017

Evolutionary Algorithms and Applications被引用数 427

ひとこと要約

Rainbow は DQN の6つの拡張（Double Q-learning、Prioritized Replay、Dueling Networks、Multi-step learning、Distributional RL、Noisy Nets）を組み合わせ、57本のAtariゲームでデータ効率と最終性能の最先端を達成している。

ABSTRACT

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

研究の動機と目的

• DQN の改善のうちどれが補完的であるかを理解する必要性を動機づける。
• 複数の拡張を統合すると性能向上が加算的になるかを調査する。
• Rainbow のデータ効率と最終性能を広範なAtariベンチマークで定量化する。
• 各コンポーネントの寄与を特定するためのアブレーションを提供する。

提案手法

• 6つのDQN拡張を1つのエージェントに統合する（Double Q-learning、Prioritized Replay、Dueling Networks、Multi-step targets、Distributional Q-learning、Noisy Nets）。
• 1ステップの分布学習損失を多段の分布損失に置換し、報酬分布にデュアルアーキテクチャを使用する。
• リプレイを導くために、絶対TD誤差ではなくKL損失で遷移を優先順位付けする。
• 固定されたアトム分布を用いた分布的Bellman更新における多段ターゲットを使用する。
• 探索のために因子分解ガウスノイズを用いたNoisy Netsを採用する。
• 標準正規化と2つのテスト設定で57 Atari 2600ゲームを評価し、各コンポーネントのアブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 6つのDQN拡張を1つのエージェントに結合したとき、相互に補完し合うのか？
• RQ2 Rainbow の性能における各コンポーネントの寄与は、ゲームおよび学習段階全体でどうなるのか？
• RQ3 Atariスイートにおけるデータ効率と最終性能で、Rainbow は既存のベースラインとどのように比較されるのか？

主な発見

エージェント	ノーオプス	ヒューマンスタート
DQN	79%	68%
DDQN	117%	110%
Prioritized DDQN	140%	128%
Dueling DDQN	151%	117%
A3C	-	116%
Noisy DQN	118%	102%
Distributional DQN	164%	125%
Rainbow	223%	153%

• Rainbow はデータ効率と最終性能の観点で57のAtariゲームで最先端の性能を達成する。
• Rainbow は7Mフレーム後にDQNの最終性能と同等に達し、他のベースラインを44Mフレーム以内に上回る。
• Rainbow は完全訓練時にno-ops レジームで中央値のヒト-正規化スコアを223%、human-starts レジームで153%達成する。
• アブレーション研究は、prioritized replayとmulti-step learningが性能向上の最も重要な要素であることを示している。
• Noisy Nets は一般に中央値のパフォーマンスを向上させ、分布的学習は特に高パフォーマンスのゲームで有益である。