[論文レビュー] An Emphatic Approach to the Problem of Off-policy Temporal-Difference Learning

Richard S. Sutton, A. Rupam Mahmood+1 more|arXiv (Cornell University)|Mar 14, 2015

Reinforcement Learning in Robotics参考文献 30被引用数 11

ひとこと要約

本稿では、重要度サンプリングを用いて学習更新の強調を動的に調整することにより、線形関数近似を用いたオフポリシー時系列差分学習を安定化する新規手法であるemphatic TD(λ)を提案する。1つのパラメータベクトルと1つのステップサイズでのみ学習可能であり、従来の勾配-TD手法よりも単純である一方で、線形ステップごとの計算量を維持し、オフポリシー学習においても安定性を確保する。

ABSTRACT

In this paper we introduce the idea of improving the performance of parametric temporal-difference (TD) learning algorithms by selectively emphasizing or de-emphasizing their updates on different time steps. In particular, we show that varying the emphasis of linear TD($λ$)'s updates in a particular way causes its expected update to become stable under off-policy training. The only prior model-free TD methods to achieve this with per-step computation linear in the number of function approximation parameters are the gradient-TD family of methods including TDC, GTD($λ$), and GQ($λ$). Compared to these methods, our _emphatic TD($λ$)_ is simpler and easier to use; it has only one learned parameter vector and one step-size parameter. Our treatment includes general state-dependent discounting and bootstrapping functions, and a way of specifying varying degrees of interest in accurately valuing different states.

研究の動機と目的

• 線形関数近似を用いたオフポリシー設定において、パラメータの発散が生じる可能性がある従来のTD(λ)の不安定性を解消すること。
• 二重サンプリングや複雑なパラメータ更新を必要とせず、オフポリシー学習においても安定した収束を保証する手法を開発すること。
• 勾配-TD手法が2つのパラメータベクトルと2つのステップサイズを必要とするのに対し、学習パラメータの数を減らすことでオフポリシーTD学習を単純化すること。
• 状態依存の割引率と関心関数を伴う状況でも、正確な価値関数推定を可能とし、関心のある状態に焦点を当てる強調を可能とすること。
• TDC や GQ(λ) といった既存の安定なオフポリシーTD手法の代替手段として、理論的裏付けが強く、ハイパーパrameterチューニングが最小限で、計算的に効率的な手法を提供すること。

提案手法

• 重要度サンプリング比に基づく状態およびステップに依存する強調関数を導入し、TD更新の大きさをスケーリングする。
• 行動方策、目標方策、およびエリギビリティトレースに依存する強調要因で重み付けされた、線形TD(λ)の期待更新を変更する。
• 強調を用いることで、更新における主要な行列が正定値であることを保証し、これによりオフポリシー条件下での学習安定性を確保する。
• 状態訪問頻度と重要度サンプリングの組み合わせを用いて強調関数を定義し、状態間で学習の焦点を動的に調整可能にする。
• 価値関数近似に1つのパラメータベクトルと1つのステップサイズを用いることで、実装を単純化し、計算オーバーヘッドを低減する。
• 状態依存の割引率と関心関数をサポートするように手法を一般化し、特定の状態の正確な価値推定を優先可能にする。

実験結果

リサーチクエスチョン

• RQ1 二重サンプリングや複数のパラメータベクトルを必要とせず、線形関数近似を用いたオフポリシー学習においても安定収束を達成できる単一パラメータTD手法は存在するか？
• RQ2 重要度サンプリングを用いたTD更新の動的強調は、オフポリシーTD(λ)学習の安定性と収束性にどのように影響するか？
• RQ3 強調に基づく重み付けは、従来のTD(λ)と比較して、オフポリシー設定下で分散を低減し、漸近的近似誤差を改善できるか？
• RQ4 LSTD(λ) といった二次的メソッドとは異なり、強調法は線形ステップごとの計算複雑度を維持しながら安定性を達成できるか？
• RQ5 強調メカニズムは、状態依存の割引率と関心関数をサポートするために拡張可能か？これにより、特定の状態に焦点を当てることができるか？

主な発見

• emphatic TD(λ) は、線形関数近似を用いたオフポリシー学習において安定収束を達成し、このような状況下で従来のTD(λ)が直面する不安定性を解消する。
• 本手法は、TDC や GQ(λ) といった勾配-TD手法が要求する2つのパラメータベクトルと2つのステップサイズとは異なり、1つの学習パラメータベクトルと1つのステップサイズのみを必要とするため、著しく単純である。
• ステップごとの計算複雑度は、関数近似パラメータ数に対して線形のまま維持され、勾配-TD手法と同等であり、LSTD(λ) のような二次的メソッドを上回る。
• 強調機構により主要な行列が正定値であることが保証され、これは安定性に十分であり、期待更新の収束を示唆する。
• 実験例では、emphatic TD(0) が、特に関心のある特定の状態に注目する場合、従来のTD(0)と比較して分散を低減し、性能を向上させている。
• 理論的分析から、強調関数が状態間で変化する場合（例：初期状態のみに関心があるエピソード的タスクなど）、漸近的平均二乗値誤差（MSVE）が改善される可能性があると示唆されている。