[論文レビュー] On TD(0) with function approximation: Concentration bounds and a centered variant with exponential convergence

Nathaniel Korda, L. A. Prashanth|arXiv (Cornell University)|Nov 12, 2014

Reinforcement Learning in Robotics参考文献 8被引用数 5

ひとこと要約

本稿は、線形関数近似を用いたTD(0)の非漸近的集中限界を提供し、定常分布の知識がなければ、標準的なステップサイズでは最適収束を保証できないことを示している。中心化TD(0)の新規変種を提案し、期待値における指数的収束を達成している。また、繰り返し平均化により、定常分布の知識を必要とせずに最適なO(1/√n)レートを達成できることを示しており、合成環境での実験で検証されている。

ABSTRACT

We provide non-asymptotic bounds for the well-known temporal difference learning algorithm TD(0) with linear function approximators. These include high-probability bounds as well as bounds in expectation. Our analysis suggests that a step-size inversely proportional to the number of iterations cannot guarantee optimal rate of convergence unless we assume (partial) knowledge of the stationary distribution for the Markov chain underlying the policy considered. We also provide bounds for the iterate averaged TD(0) variant, which gets rid of the step-size dependency while exhibiting the optimal rate of convergence. Furthermore, we propose a variant of TD(0) with linear approximators that incorporates a centering sequence, and establish that it exhibits an exponential rate of convergence in expectation. We demonstrate the usefulness of our bounds on two synthetic experimental settings.

研究の動機と目的

• 線形関数近似を用いたTD(0)の有限時間解析におけるギャップを埋めるために、非漸近的境界を提供すること。
• マーカフ連鎖の定常分布の知識がなければ、最適収束レートに到達できない標準的ステップサイズ選択（例：∝1/n）の限界を特定すること。
• 期待値における指数的収束を達成する、新規の中心化TD(0)変種を提案すること。
• 理論的境界の実用的有用性を、合成実験におけるステップサイズ選択を通じて示すこと。

提案手法

• 基礎となるマーカフ連鎖の混合性仮定を用いて、∥θn − θ∗∥²の高確率的および期待値ベースの境界を導出する。
• 分散を低減し収束を加速するために、中心化シーケンスを組み込んだTD(0)の中心化変種を導入する。
• エポックごとの誤差ダイナミクスを分析することで、中心化変種の期待値における指数的収束を確立する。
• 繰り返し平均化を用いることで、定常分布の知識を必要とせずに最適なO(1/√n)収束レートを達成する。
• エポックごとのブロック平均化技術を用いて誤差項を制御し、期待誤差の再帰的境界を導出する。
• 特徴ベクトルのノルムと混合率（混合係数µ）に関する仮定を用いて、分散およびバイアス成分をバインドする。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いたTD(0)に対して、有限時間収束レートを定量化する非漸近的境界を確立できるか？
• RQ2 なぜ標準的ステップサイズ選択（∝1/n）は、定常分布の知識がなければ最適なO(1/√n)レートに到達できないのか？
• RQ3 TD(0)の中心化変種は期待値において指数的収束を達成できるか？その背後にあるメカニズムは何か？
• RQ4 繰り返し平均化は、定常分布の知識に依存しないまま最適収束を維持できるか？
• RQ5 理論的境界は、合成環境におけるステップサイズ選択をガイドするために実用的に利用できるか？

主な発見

• 定常分布の混合性に関する知識がなければ、ステップサイズが∝1/nである標準TD(0)アルゴリズムは、最適なO(1/√n)収束レートに到達できない。
• TD(0)の繰り返し平均化により、定常分布の知識を必要とせずに最適なO(1/√n)収束レートが期待値で達成される。
• 提案された中心化TD(0)変種（CTD）は、期待値において指数的収束を達成しており、収束速度の面で標準TD(0)を著しく上回る。
• 理論的境界が合成実験におけるステップサイズおよびエポック長の選択を効果的にガイドした。CTDは標準TD(0)およびTD(0)-平均化よりも低い分散を示した。
• 誤差項は混合性仮定および特徴ベクトルのノルムのバインドを用いて制御され、期待誤差の増大をきめ細かく制御可能となった。
• 実験結果は、中心化変種（CTD）が標準TD(0)および平均化TD(0)よりも高速かつ低い分散で収束することを確認しており、特に高次元設定において顕著である。