[論文レビュー] The Effect of Multi-step Methods on Overestimation in Deep Reinforcement Learning

Lingheng Meng, Rob Gorbet+1 more|arXiv (Cornell University)|Jun 23, 2020

Reinforcement Learning in Robotics参考文献 28被引用数 8

ひとこと要約

本稿では、深層強化学習における過大評価を低減するために、マルチステップバックアップを用いるMulti-step DDPG (MDDPG) およびMixed Multi-step DDPG (MMDDPG) を提案する。リプレイバッファから得られるマルチステップリターンを活用することで、標準的なDDPGと比較して過大評価が顕著に低減され、計算コストの増加が最小限に抑えられる一方で、学習速度が向上し、最終的な性能も向上する。

ABSTRACT

Multi-step (also called n-step) methods in reinforcement learning (RL) have been shown to be more efficient than the 1-step method due to faster propagation of the reward signal, both theoretically and empirically, in tasks exploiting tabular representation of the value-function. Recently, research in Deep Reinforcement Learning (DRL) also shows that multi-step methods improve learning speed and final performance in applications where the value-function and policy are represented with deep neural networks. However, there is a lack of understanding about what is actually contributing to the boost of performance. In this work, we analyze the effect of multi-step methods on alleviating the overestimation problem in DRL, where multi-step experiences are sampled from a replay buffer. Specifically building on top of Deep Deterministic Policy Gradient (DDPG), we propose Multi-step DDPG (MDDPG), where different step sizes are manually set, and its variant called Mixed Multi-step DDPG (MMDDPG) where an average over different multi-step backups is used as update target of Q-value function. Empirically, we show that both MDDPG and MMDDPG are significantly less affected by the overestimation problem than DDPG with 1-step backup, which consequently results in better final performance and learning speed. We also discuss the advantages and disadvantages of different ways to do multi-step expansion in order to reduce approximation error, and expose the tradeoff between overestimation and underestimation that underlies offline multi-step methods. Finally, we compare the computational resource needs of Twin Delayed Deep Deterministic Policy Gradient (TD3), a state-of-art algorithm proposed to address overestimation in actor-critic methods, and our proposed methods, since they show comparable final performance and learning speed.

研究の動機と目的

• マルチステップ手法が、特にDDPGのようなアクタ・クリティックフレームワークにおける過大評価に与える影響を調査すること。
• 連続的制御タスクにおける安定的かつ効率的な学習を妨げる価値関数の過大評価という課題に対処すること。
• 過大評価を低減しつつ、学習速度や最終的性能を維持または向上させるDDPGのマルチステップ拡張を設計・評価すること。
• マルチステップ手法と、TD3のような最先端のアルゴリズムとの間の計算効率と近似誤差のトレードオフを比較すること。
• オフラインマルチステップバックアップにおける過大評価と過小評価のトレードオフと、それが学習安定性に与える影響を分析すること。

提案手法

• Q値ターゲット計算におけるマルチステップバックアップに、異なる固定ステップサイズ（n）を手動で設定するMulti-step DDPG (MDDPG) を提案する。
• 複数のステップサイズ（n）からのQ値ターゲットの重み付き平均を計算することで、ターゲットの精度を向上させるMixed Multi-step DDPG (MMDDPG) を導入する。
• マルチステップ遷移を格納・サンプリングする経験リプレイバッファを用い、オンラインロールアウトを必要とせずにオフラインマルチステップバックアップを実現する。
• nステップのブートストラップQ値推定を用いることで、個々の不正確な価値推定の影響を軽減し、過大評価を緩和する。
• MDDPGとMMDDPGをDDPGおよびTD3と比較し、学習速度、最終的性能、計算コスト（フォワード/バックワードパス数）の観点から評価する。
• ブートストラップnステップリターンによる過大評価と、オフラインリプレイベースのバックアップによる過小評価のトレードオフを分析し、nがこのトレードオフをどのようにバランスさせるかを示す。

実験結果

リサーチクエスチョン

• RQ1 DDPGにおけるマルチステップバックアップの使用が、Q値関数近似における過大評価の度合いにどのように影響するか？
• RQ2 マルチステップ手法を用いることで、計算コストの増加なしに学習速度と最終的性能を向上させることができるか？
• RQ3 ブートストラップnステップリターンによる過大評価と、オフラインリプレイベースのバックアップによる過小評価のトレードオフは何か？
• RQ4 MDDPGおよびMMDDPGの性能は、過大評価を軽減することを目的とした最先端のアルゴリズムであるTD3と比較してどうなるか？
• RQ5 過大評価と過小評価の両者をバランスさせるために、マルチステップバックアップにおけるステップサイズnを最適に選ぶ戦略は何か？

主な発見

• MDDPGおよびMMDDPGは、標準的なDDPGと比較して顕著に過大評価が低減されており、連続的制御タスクにおけるより安定的で効果的な学習が可能になる。
• MMDDPGは、過大評価を緩和することを目的とした最先端のアルゴリズムであるTD3と同等の最終的性能と学習速度を達成する。
• MDDPGはTD3よりも計算リソースを消費するが、ミニバッチごとに1回のフォワードパスと1回のバックワードパスを必要とするため、DDPGと同様に計算コストが非常に低い。
• ステップサイズn ≥ 4の場合、MMDDPGはTD3よりも高い計算コストを要する。これは、ターゲットQ値計算にn回のフォワードパスが必要となるためである。
• オフラインマルチステップバックアップは初期段階で真のQ値を過小評価する傾向があるが、リプレイバッファが満タンになるに従い、徐々にオンラインマルチステップ値に収束する。
• ステップサイズnの選定は、ブートストラップnステップリターンによる過大評価と、オフラインリプレイによる過小評価のトレードオフをバランスさせる必要があり、訓練中にこのバランスをとる必要がある。