[論文レビュー] Off-policy Learning with Eligibility Traces: A Survey

Matthieu Geist, Bruno Scherrer|arXiv (Cornell University)|Apr 15, 2013

Reinforcement Learning in Robotics参考文献 1被引用数 39

ひとこと要約

本稿では、オンポリシー値関数推定アルゴリズムをエリギビリティトレースを用いてオフポリシー学習に拡張する包括的なフレームワークを提示し、既知および新規のアルゴリズムを体系的に導出する。実験では、オフポリシーLSTD(λ)とLSPE(λ)が、小規模および大規模なGarnet問題の両方において、収束速度と精度の面で他の手法を常に上回ることを示している。特に対象の特徴量の次元が大きすぎる場合には、最小二乗法が不適切となるため、TD(λ)が強力な代替手法として機能する。

ABSTRACT

In the framework of Markov Decision Processes, off-policy learning, that is the problem of learning a linear approximation of the value function of some fixed policy from one trajectory possibly generated by some other policy. We briefly review on-policy learning algorithms of the literature (gradient-based and least-squares-based), adopting a unified algorithmic view. Then, we highlight a systematic approach for adapting them to off-policy learning with eligibility traces. This leads to some known algorithms - off-policy LSTD(λ), LSPE(λ), TD(λ), TDC/GQ(λ) - and suggests new extensions - off-policy FPKF(λ), BRM(λ), gBRM(λ), GTD2(λ). We describe a comprehensive algorithmic derivation of all algorithms in a recursive and memory-efficent form, discuss their known convergence properties and illustrate their relative empirical behavior on Garnet problems. Our experiments suggest that the most standard algorithms on and off-policy LSTD(λ)/LSPE(λ) - and TD(λ) if the feature space dimension is too large for a least-squares approach - perform the best.

研究の動機と目的

• オンポリシー値関数推定アルゴリズムをエリギビリティトレースを用いてオフポリシー学習に適応するための体系的かつ包括的なアプローチを提供すること。
• 最小二乗法および勾配ベースの手法に基づく、既存および新規のオフポリシーアルゴリズムの再帰的かつメモリ効率の良い実装を導出すること。
• Garnet問題におけるこれらのアルゴリズムの性能を実験的に比較し、さまざまな条件下での最も効果的な手法を同定すること。
• 特に確率的勾配ベースのアルゴリズムにおける収束解析の理論的ギャップを強調し、今後の研究の方向性を示唆すること。

提案手法

• ベルマン作用素を変更することで、オンポリシーのアルゴリズム（LSTD, LSPE, FPKF, BRM, TD, gBRM, TDC）をエリギビリティトレースと重要度サンプリングを組み合わせることでオフポリシー学習に適応する。
• すべてのアルゴリズムに対して再帰的更新ルールを導出し、オンラインかつメモリ効率の良い学習を可能にし、スケーラビリティを確保する。
• 最小二乗法および勾配ベースの両アプローチを統合的に扱うために、統一的なアルゴリズム的パターン（式8）を用いる。
• オフポリシー設定における行動方策とターゲット方策の分布シフトを是正するために、重要度サンプリングを適用する。
• エリギビリティトレース（λ）を用いてバイアスと分散のバランスを調整し、サンプル効率を向上させる。
• 状態空間および特徴空間のサイズが異なるGarnet問題に対して実験的評価を行い、収束速度と誤差の両面で比較する。

実験結果

リサーチクエスチョン

• RQ1 オンポリシー値関数推定アルゴリズムを、エリギビリティトレースを用いてどのように体系的にオフポリシー学習に拡張できるか？
• RQ2 収束速度と推定精度の観点から、どのオフポリシー・エリギビリティトレースベースのアルゴリズムが最も優れた実験的性能を示すか？
• RQ3 エリギビリティトレースを用いたオフポリシー設定において、最小二乗法ベースと勾配ベースのアルゴリズムの相対的なトレードオフは何か？
• RQ4 FPKF(λ) や gBRM(λ) が LSTD(λ) や LSPE(λ) よりも優れる、または劣る条件は何か？
• RQ5 オフポリシー・エリギビリティトレースベースの確率的勾配アルゴリズムの収束解析において、残された理論的課題は何か？

主な発見

• オフポリシーLSTD(λ)とLSPE(λ)は、小規模および大規模なGarnet問題の両方において、一貫して最も速い収束と最小の誤差を達成した。
• 特徴量の数が多すぎて最小二乗法が不適切な場合には、TD(λ)がスケーラブルな代替手法として優れた性能を示した。
• FPKF(λ)の拡張は、元のFPKFよりも収束速度と精度の面で優れており、特にオフポリシー設定で顕著であった。
• TDC/GTD2(λ)とGTD2(λ)は、オフポリシー学習を目的として設計されているにもかかわらず、TD(λ)に比べて著しく遅かった。
• gBRM(λ)（λ=0）は、元のgBRMアルゴリズムに知られているバイアス問題があるため、性能が著しく低かった。これは理論的制限を確認する結果となった。
• Garnet問題において、Π₀T^λの収縮条件は実際には制限的ではなく、既知の病理的ケースが存在するにもかかわらず、実験で発散は観察されなかった。