[論文レビュー] Finite Sample Analyses for TD(0) with Function Approximation

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Apr 4, 2017

Reinforcement Learning in Robotics参考文献 23被引用数 8

ひとこと要約

本稿は、線形関数近似を用いた標準的で変更の加えられていないTD(0)アルゴリズムに対する最初の有限標本収束解析を提示する。独自の確率的近似技術を用いて、射影や問題依存のステップサイズ調整を要せず、期待値における収束速度および高確率的収束速度を確立する。

ABSTRACT

TD(0) is one of the most commonly used algorithms in reinforcement learning. Despite this, there is no existing finite sample analysis for TD(0) with function approximation, even for the linear case. Our work is the first to provide such results. Existing convergence rates for Temporal Difference (TD) methods apply only to somewhat modified versions, e.g., projected variants or ones where stepsizes depend on unknown problem parameters. Our analyses obviate these artificial alterations by exploiting strong properties of TD(0). We provide convergence rates both in expectation and with high-probability. The two are obtained via different approaches that use relatively unknown, recently developed stochastic approximation techniques.

研究の動機と目的

• TD(0)に線形関数近似を適用した際の有限標本解析における理論的ギャップを埋め、これまでの収束速度に関する結果が不足していた点を補完すること。
• 射影や未知パラメータに依存するステップサイズの調整を一切行わない、元の変更なしのTD(0)アルゴリズムを、標準的な学習率設定下で分析すること。
• 期待値および高確率的収束保証を提供し、既存の文献における主要な制限を解消すること。
• 非線形関数近似（例：深層ニューラルネットワーク）へ応用可能な一般化された方法論的枠組みを構築すること。

提案手法

• 射影や固有値依存ステップサイズの導入を避けるために、TD(0)の強力な性質を活用する。
• 最近開発された確率的近似技術（パラメータの変動公式、Alekseevの公式など）を応用して、境界を導出する。
• 期待値ベースの収束速度には帰納的証明を、高確率的解析には集中不等式を別個に適用する。
• 初期反復値が吸引域内にある条件付きで境界を確立し、病的な条件の下で切断された解への収束解析を可能にする。
• オンラインTD学習を確率的近似プロセスとして扱うことで、オンラインTD学習の分析に向けた新しい枠組みを導入する。
• 非線形ODE解析とAlekseevの公式を用いて、非線形関数近似へとアプローチを拡張し、安定な均衡点の吸引域に関する仮定を設ける。

実験結果

リサーチクエスチョン

• RQ1 元の変更なしのTD(0)アルゴリズムに線形関数近似を適用した場合、有限標本収束速度を確立できるか？
• RQ2 射影や問題特有のステップサイズ調整なしに、TD(0)の期待値および高確率的収束速度は何か？
• RQ3 特徴行列が病的な条件を示す場合、特に固有値がゼロである場合、アルゴリズムの挙動はどのように変化するか？
• RQ4 理論的枠組みを非線形関数近似（例：深層ニューラルネットワーク）へと拡張可能か？
• RQ5 ノイズが加わる更新の下で、初期パラメータベクトルはTD(0)の収束挙動にどのような役割を果たすか？

主な発見

• 本稿は、射影や未知パラメータに依存するステップサイズ調整を要しない、標準的TD(0)アルゴリズムに線形関数近似を適用した場合の、有限標本収束速度を初めて提供する。
• 期待値における収束速度は、TD(0)更新の構造と関連するODEの性質を活用した帰納的証明により確立される。
• 高確率的境界は高度な集中不等式技術を用いて導出され、$ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{\max\{1+\frac{1}{\lambda},2\}}\right) $（$ \lambda > 1/2 $）および$ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{1+\frac{1}{\lambda}}\right) $（$ \lambda < 1/2 $）のオーダーの標本複雑度境界が得られる。
• 解析から、行列$ A $が病的な条件を示す場合、$ A $の核空間に沿った進行が見られないため、真の解への収束は保証されず、初期反復値に依存して異なる切断された解へ収束する可能性があることが明らかになった。
• 非線形ODE解析とAlekseevの公式を用いることで、非線形関数近似（例：ニューラルネットワーク）へと一般化可能であり、安定な均衡点の吸引域に関する仮定の下で成立する。
• 本フレームワークは二段階時間スケール設定へと拡張可能であり、適応的学習率へも応用可能である可能性を示唆しており、線形関数近似を超えた広範な応用可能性を有する。