[論文レビュー] On Convergence of Emphatic Temporal-Difference Learning

Huizhen Yu|arXiv (Cornell University)|Jun 8, 2015

Reinforcement Learning in Robotics参考文献 25被引用数 15

ひとこと要約

本論文は、線形関数近似を用いたオフポリシー強化学習における、2つの強調的時系列学習アルゴリズム、ETD(λ) および ELSTD(λ) に対する最初の収束証明を提示する。L¹収束をELSTD(λ)に対して確立し、一般のオフポリシー条件のもとで、無限の1つの軌道を用いた価値関数推定のほとんど確実な収束を示した。これらの証明には、強調的手法に限らない応用が可能な、新しい解析的手法が用いられた。

ABSTRACT

We consider emphatic temporal-difference learning algorithms for policy evaluation in discounted Markov decision processes with finite spaces. Such algorithms were recently proposed by Sutton, Mahmood, and White (2015) as an improved solution to the problem of divergence of off-policy temporal-difference learning with linear function approximation. We present in this paper the first convergence proofs for two emphatic algorithms, ETD($λ$) and ELSTD($λ$). We prove, under general off-policy conditions, the convergence in $L^1$ for ELSTD($λ$) iterates, and the almost sure convergence of the approximate value functions calculated by both algorithms using a single infinitely long trajectory. Our analysis involves new techniques with applications beyond emphatic algorithms leading, for example, to the first proof that standard TD($λ$) also converges under off-policy training for $λ$ sufficiently large.

研究の動機と目的

• オフポリシー設定における強調的時系列学習アルゴリズムの理論的収束保証を確立すること。
• 線形関数近似を用いたオフポリシー TD 学習における既知の発散問題を解決すること。
• 一般のオフポリシーのデータ生成条件下での ETD(λ) および ELSTD(λ) の厳密な数学的解析を提供すること。
• より広範な時系列学習手法のクラスに適用可能な、新しい解析的手法を開発すること。
• λ が十分に大きい場合、標準の TD(λ) がオフポリシー学習でも収束することを証明すること。

提案手法

• 重要度サンプリングと有効性トレースを用いた、オフポリシー時系列学習アルゴリズムとして ETD(λ) および ELSTD(λ) を提案する。
• 確率的近似理論を用いて、これらのアルゴリズムの収束を分析する。
• オフポリシーのデータを扱うために、重み付き平均と経験過程技法を組み合わせた、新しい分析フレームワークを導入する。
• 1つの無限軌道を用いて、価値関数推定のほとんど確実な収束を導出する。
• 特に、付録 A.4 の補題 C.1 および脚注 17 に関する、先行研究における証明の誤りを是正・精錬する。
• 非 i.i.d. かつ非一様に分布するデータを含む、一般のオフポリシー条件のもとで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ETD(λ) は、一般のオフポリシー条件のもとで、1つの無限軌道を用いた場合に収束するか？
• RQ2 ELSTD(λ) は、線形関数近似を用いたオフポリシー学習において L¹ 収束するか？
• RQ3 強調的 TD 学習の理論的解析を拡張することで、標準の TD(λ) がオフポリシー設定でも収束することを証明できるか？
• RQ4 TD 学習における非 i.i.d. かつバイアスのかかっているオフポリシーのデータを扱うために、どのような新しい解析的手法が必要か？
• RQ5 過去の証明の是正が、収束結果の妥当性および一般性にどのように影響するか？

主な発見

• ELSTD(λ) は、一般のオフポリシー条件のもとで L¹ 収束し、価値関数推定の理論的信頼性を確立した。
• ETD(λ) および ELSTD(λ) が計算する近似価値関数は、1つの無限軌道に沿ってほとんど確実に収束する。
• 本分析により、λ が十分に大きい場合、標準の TD(λ) がオフポリシー学習でも収束することを初めて証明した。
• 本論文は、特に補題 C.1 が補題 C.2 の第一部分に依存する点に関して、過去の証明を是正・強化した。
• 開発された解析的手法は一般化可能であり、強調的アルゴリズムに限らず、標準の TD(λ) や他のオフポリシー TD 手法にも適用可能である。
• 収束結果は、行動方策および基盤となる MDP に対する最小限の仮定のもとで成り立つため、実用的応用性が向上した。