[論文レビュー] Deep Reinforcement Learning and the Deadly Triad

Hado van Hasselt, Yotam Doron+4 more|arXiv (Cornell University)|Dec 6, 2018

Reinforcement Learning in Robotics参考文献 27被引用数 110

ひとこと要約

経験的研究: Deep Q-learning における function approximation、bootstrapping、off-policy 更新が相互作用する様子を調べ、致命的トライアドが不安定さを引き起こす時期と、Atariゲームでの緩和法を特定する。

ABSTRACT

We know from reinforcement learning theory that temporal difference learning can fail in certain cases. Sutton and Barto (2018) identify a deadly triad of function approximation, bootstrapping, and off-policy learning. When these three properties are combined, learning can diverge with the value estimates becoming unbounded. However, several algorithms successfully combine these three properties, which indicates that there is at least a partial gap in our understanding. In this work, we investigate the impact of the deadly triad in practice, in the context of a family of popular deep reinforcement learning models - deep Q-networks trained with experience replay - analysing how the components of this system play a role in the emergence of the deadly triad, and in the agent's performance

研究の動機と目的

• Function approximation、bootstrapping、off-policy 学習の組み合わせが深層RLの学習安定性に与える影響を調べる。
• AtariゲームにおけるDQN系変種での不安定性（soft-divergence）が生じる条件を定量化する。
• ブートストラップターゲット、マルチステップリターン、ネットワークサイズ、prioritised replay といった設計選択が安定性と性能に与える影響を評価する。

提案手法

• 4つのオプション（Q-learning、target Q-learning、inverse double Q-learning、double Q-learning）でブートストラップターゲットを系統的に変化させる。
• bootstrapping を調整するために n = 1、3、10 の異なるブートストラップ長を試す。
• 4つのネットワークサイズ（小、中、大、特大）を用いて function approximation の容量を変更する。
• prioritised replay を用いて alpha を変化させ、必要に応じて importance-sampling の beta を調整してoff-policy の強調を変更する。
• 標準的な DQN 前処理と 3 回の再実行を各構成で 20M フレームを用いて、57 Atari game で評価する。
• 理論的な境界を超える最大絶対 Q 値を追跡して soft-divergence を診断する。

実験結果

リサーチクエスチョン

• RQ1 深層RLシステムが致命的トライアドを用いる場合、実践的にはどのような不安定性が生じるのか。
• RQ2 ブートストラップ長、ネットワーク容量、prioritised experience replay が DQN 系変種の発散と性能にどのように影響するのか。
• RQ3 target ネットワークと double Q-learning は deep RL において標準の Q-learning と比較して不安定性を低減させるのか。
• RQ4 マルチステップリターンを増やすことで発散を抑制し、Atariゲームでの制御性能を向上させるのか。

主な発見

• Soft-divergence（理論的範囲を超える値）が深層 RL で生じることはあるが無限大にはならず、トライアドが問題を引き起こす可能性はあるものの必ずしも致命的ではない。
• Q-learning が最も不安定で、target Q-learning と double Q-learning が最も安定、inverse double Q-learning は中程度に安定。
• ブートストラップ長が長いほど不安定さは低減され、n=10 は n=1 に比べて soft-divergence を著しく低下させる。
• ネットワークが大きいと Q-learning で不安定性が増すが、double Q-learning ではそれほどではない；全体として大きなネットワークで性能が向上することもある。
• 更新の prioritisation が強くなると不安定性が増し、importance-sampling の補正を削除または減少させると発散が緩和される。
• soft-divergence と制御性能の低下には相関があり、 unstable な実行が少ないほど性能が良好になる。