[論文レビュー] A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation

Jalaj Bhandari, Daniel Russo+1 more|arXiv (Cornell University)|Jun 6, 2018

Reinforcement Learning in Robotics被引用数 31

ひとこと要約

本稿は、マルコフ的データのもとで線形関数近似を用いた時系列差分（TD）学習の最初の有限時間解析を提供し、勾配に類似した性質と情報理論的バイアス制御を活用することで、確率的勾配降下法（SGD）と同等の収束速度を示している。非漸近的で明示的な境界を提示し、割引率、特徴量共分散の条件数、混合時間に依存する。TD(λ)および高次元の最適停止問題におけるQ学習へも拡張可能である。

ABSTRACT

Temporal difference learning (TD) is a simple iterative algorithm used to estimate the value function corresponding to a given policy in a Markov decision process. Although TD is one of the most widely used algorithms in reinforcement learning, its theoretical analysis has proved challenging and few guarantees on its statistical efficiency are available. In this work, we provide a simple and explicit finite time analysis of temporal difference learning with linear function approximation. Except for a few key insights, our analysis mirrors standard techniques for analyzing stochastic gradient descent algorithms, and therefore inherits the simplicity and elegance of that literature. Final sections of the paper show how all of our main results extend to the study of TD learning with eligibility traces, known as TD($\\lambda$), and to Q-learning applied in high-dimensional optimal stopping problems.

研究の動機と目的

• マルコフ的データストリームにおけるTD学習の理論的理解のギャップを埋め、非漸近的収束保証を提供すること。
• 割引率、特徴量共分散の条件数、マルコフ連鎖の混合時間といった重要な問題要因に依存する明示的な有限時間境界を確立すること。
• 高次元の最適停止問題におけるTD(λ)およびQ学習への解析を拡張し、それまで非漸近的保証が得られていなかった分野に適用すること。
• TD学習が確率的勾配降下法（SGD）と構造的に類似していることを示し、SGDの解析手法の再利用を可能にすること。
• 境界付き勾配ノイズと依存データ下での扱いやすいバイアス制御を可能にする、強固な射影ベースのフレームワークを提供すること。

提案手法

• TD更新を二次損失関数上の確率的勾配ステップとしてモデル化し、標準的なSGD収束技術の適用を可能にする。
• 勾配ノイズの有界性とバイアスの制御を保証するため、ノルムボール（Θ_R）への射影ステップを導入する。これは、確率的近似における標準的手法である。
• 情報理論的道具を用いて、マルコフ的依存性に起因する勾配推定のバイアスを制限し、そのスケーリングが元の連鎖の混合時間に依存することを示す。
• 補題により、勾配ノルム（G = r_max + 2R）の一様有界性とバイアスのリプシッツ連続性を確立し、収束解析を可能にする。
• 同じ仮定のもとで、TD(λ)およびQ学習においても同様の構造的性質が成り立つことを示すことで、フレームワークを拡張する。
• 最適化文献からの技術、特にマルコフ的ノイズを伴う非漸近的SGDの技術を用いて理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 観測が依存的であるマルコフ的データのもとで、線形関数近似を用いたTD学習に対して、有限時間収束保証を確立できるか？
• RQ2 TD(0)の収束速度は、マルコフ連鎖の混合時間および特徴量共分散行列の条件数にどのように依存するか？
• RQ3 固定された損失関数が存在しないにもかかわらず、TD学習の解析を確率的勾配降下法理論とどれほど統一できるか？
• RQ4 同じ有限時間解析フレームワークを、高次元の最適停止問題におけるTD(λ)およびQ学習へ拡張できるか？
• RQ5 ノルムボールへの射影が、マルコフ的ノイズ下での有界性の確保と収束の実現に果たす役割は何か？

主な発見

• 本稿は、マルコフ的データのもとで線形関数近似を用いたTD(0)に対して、Õ(1/T)の有限時間収束速度を確立し、i.i.d.ノイズモデルにおける最良の既知のレートと同等であることを示している。
• 収束境界は、マルコフ連鎖の混合時間に明示的に依存しており、バイアス項はi.i.d.ケースに比べてこの要因に比例してスケーリングされる。
• 勾配ノルムは、G = r_max + 2Rで一様に有界であり、安定性を保証し、標準的なSGD解析ツールの使用を可能にする。
• 解析により、期待されるTD更新がSGDにおけるものと類似した勾配に類似した性質を満たすことが明らかになり、SGD収束技術の再利用が正当化される。
• フレームワークは、変更なしに高次元の最適停止問題におけるTD(λ)およびQ学習へ拡張可能であり、これらの設定に対して、初めて非漸近的保証を提供する。
• 射影ステップは、マルコフ的設定下でのバイアスとノイズの制御に不可欠であり、これを除去するには、反復の有界性に関する追加仮定が必要になる。