[論文レビュー] Reconciling $\lambda$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|Oct 23, 2018

Reinforcement Learning in Robotics参考文献 39被引用数 4

ひとこと要約

本論文は、最近の遷移をキャッシュし、共有されたQ値推定を用いて$λ$-リターンを事前に計算することで、リプレイベースのディープ強化学習における$λ$-リターンの効率的統合を提案する。このアプローチにより、動的$λ$-値の適応と真のTD誤差に基づく優先順位付けが可能となり、部分観測環境下でもAtari 2600ゲームにおけるDQNの性能が向上する安定的でサンプル効率の高い学習が実現される。

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $\lambda$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $\lambda$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $\lambda$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $\lambda$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $\lambda$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $\lambda$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $\lambda$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $\lambda$-returns, these ideas are applicable to any multi-step return estimator.

研究の動機と目的

• オフポリシーのディープ強化学習における$λ$-リターンと経験リプレイの不適合性、特にランダムサンプリングが段階的エリギビリティトレース計算を破壊することへの対処。
• 非同期更新やその他の分散化機構に依存せずに、リプレイベース手法における$λ$-リターンの効率的かつ無駄のない計算を可能にすること。
• 代理指標ではなく真の時系列差分（TD）誤差に基づいて遷移を優先順位付けできることで、サンプル効率の向上。
• 学習ダイナミクスに応じて$λ$値を動的に選択する仕組みを導入し、収束を早めること。
• 部分観測環境でも$λ$-リターンが効果的に使用可能であり、挑戦的なRLベンチマークでの性能向上が示せること。

提案手法

• リプレイメモリ内に小さなキャッシュを設け、共有Q値推定を再利用することで、隣接する$λ$-リターンの効率的計算を可能にする。
• $λ$-リターンは事前に計算され、リプレイバッファに格納され、ターゲットネットワークの必要性をなくす安定した時系列差分（TD）ターゲットとして機能する。
• 計算は、実際にサンプリングされる可能性が高い経験に限定され、無駄な再計算を回避する。
• この方法により、サンプリングの前段階でTD誤差を観測でき、代理指標ではなく実際の学習の重要性に基づいた優先順位付けが可能になる。
• TD誤差の大きさを用いて$λ$をリアルタイムで調整する、新しい動的$λ$-値選択メカニズムを導入し、学習を加速する。
• このフレームワークは、$λ$-リターンに限らず、任意のマルチステップリターン推定器に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 非同期更新や追加の分散化技術に依存せずに、リプレイベースのディープ強化学習における$λ$-リターンの効率的計算は可能か？
• RQ2 共有Q値を活用しながら、重複計算を避ける形で$λ$-リターンを事前に計算・格納する方法は何か？
• RQ3 代理指標ではなく真のTD誤差を用いて経験リプレイの遷移を優先順位付けできるか？これにより、代理指標を上回るサンプル効率の向上が達成できるか？
• RQ4 TD誤差の大きさに基づく動的$λ$-値適応が、より速い学習とより良い性能をもたらすか？
• RQ5 この手法は、Atari 2600ゲームのような部分観測環境でも、どの程度性能を向上させられるか？

主な発見

• 提案手法により、非同期更新やターゲットネットワークに依存せずに、リプレイベースの$λ$-リターンの実用的利用が可能となり、計算の無駄を減らした安定した学習が実現された。
• 事前に計算された$λ$-リターンは安定したTDターゲットとして機能し、ターゲットネットワークの必要性をなくし、学習の安定性を向上させた。
• 実際のTD誤差の大きさに基づいて遷移を優先順位付けできるため、代理指標に基づく手法よりも効果的なサンプル利用が可能になった。
• TD誤差に基づく動的$λ$-値選択により、Atari 2600ゲームにおける学習がより速くなり、性能が向上した。
• 部分観測環境下でもDQNの性能が向上し、困難な環境でも頑健であることが示された。
• このフレームワークは汎用的であり、$λ$-リターンに限らず、任意のマルチステップリターン推定器に適用可能で、$λ$-リターンを超える有用性を有する。