[論文レビュー] Reconciling $λ$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|Oct 23, 2018

Stochastic processes and financial applications被引用数 8

ひとこと要約

本論文は、経験リプレイを用いたオフポリシー深層強化学習における $λ$-リターンの効率的統合のための新規手法を提案する。小さなキャッシュに事前に計算された $λ$-リターンを保持することで、ターゲットネットワークの代わりに使用し、事前サンプリングによるTD誤差解析を可能にする。この手法により、部分観測下でもDQNのサンプル効率が向上し、真のTD誤差に基づく直接的優先順位付けと動的 $λ$-値選択が可能になる。

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $λ$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $λ$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $λ$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $λ$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $λ$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $λ$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $λ$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $λ$-returns, these ideas are applicable to any multi-step return estimator.

研究の動機と目的

• 深層強化学習におけるミニバッチ処理された経験リプレイと $λ$-リターンの不適合性を解消すること。
• キャッシュされた事前計算済み $λ$-リターン機構を用いて、ターゲットネットワークへの依存を排除すること。
• 真のTD誤差の大きさに基づいて、代理指標ではなく直接的に事前サンプリングによる遷移の優先順位付けを可能にすること。
• オフポリシーアルゴリズムにおける高速化を図るため、TD誤差に基づく動的 $λ$-値選択を検討すること。
• 部分観測および標準的なリプレイ設定下でのDQNにおけるサンプル効率と学習速度の向上

提案手法

• リプレイバッファ内に定期的に更新される小さなキャッシュを導入し、再帰的計算を用いて事前に計算された $λ$-リターンを格納する。
• 安定した時系列差分ターゲットとして、ターゲットネットワークの代わりにキャッシュされた $λ$-リターンを使用する。
• キャッシュ内の隣接する遷移間でQ値を共有することで、最小限のオーバーヘッドで効率的に $λ$-リターンを事前計算する。
• 遷移と同時にTD誤差を格納することで、サンプリングの前段階でTD誤差を観測可能にする。
• 代理指標ではなく、実際のTD誤差の大きさに基づいて遷移をサンプリングの優先順位に設定する。
• TD誤差の大きさに基づいて学習中に動的 $λ$-値を選択し、学習を加速する。

実験結果

リサーチクエスチョン

• RQ1 $λ$-リターンを、非同期更新やターゲットネットワークを必要とせずに、オフポリシー深層RLにおける経験リプレイに効率的に統合できるか。
• RQ2 キャッシュに事前に計算された $λ$-リターンを使用することで、ターゲットネットワークを備えた標準DQNと比較してサンプル効率が向上するか。
• RQ3 サンプリングの前段階で観測可能なTD誤差により、代理指標に基づく手法よりも効果的な優先順位付き経験リプレイが実現できるか。
• RQ4 TD誤差に基づく動的 $λ$-値選択が、学習速度の向上とより優れた性能をもたらすか。
• RQ5 信用配分がより困難な部分観測下でも、本手法は良好な性能を維持するか。

主な発見

• テストされた6つのAtari 2600ゲームすべてにおいて、$λ$-リターンと提案手法のキャッシュ機構を備えたDQNは、標準DQNを上回った。特に $λ = 0.25$ または $0.5$ を用いたBreakoutとSpace Invadersで顕著な向上を示した。
• 5つのゲームでターゲットネットワークベースラインと比較して、訓練完了までの時間が短縮された。計算効率の向上を示している。
• 真のTD誤差の大きさに基づく優先順位付けにより、代理指標に基づく手法よりもサンプル効率が向上した。これは、損失の寄与度をサンプリングの前段階で直接観測可能だったためである。
• 手動チューニングを必要とせず、動的 $λ$-値選択がすべての環境で最良の手動チューニング済み $λ$-値と同等またはそれを上回る性能を達成した。
• 1フレーム入力の部分観測下でも、性能向上が維持された。これは、遅延または不完全な状態情報に対しても頑健であることを示している。
• 本手法は任意のマルチステップリターン推定器に一般化可能であり、DQNに限らず広範なオフポリシーアルゴリズムに応用可能である。