[論文レビュー] Finite-Time Analysis of Q-Learning with Linear Function Approximation.

Zaiwei Chen, Sheng Zhang+3 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 19被引用数 6

ひとこと要約

本稿は、マルコフ的ノイズ下での線形関数近似を用いたQ学習の有限標本収束バウンドを、非線形確率的近似の新規な分析によって確立する。リャプノフのドリフトとマルコフ連鎖の高速混合性を活用することで、i.i.d.標本やプロジェクションステップを必要とせず、アルゴリズムの安定性を保証する行動方策に関する条件のもとで安定性と収束性を証明する。

ABSTRACT

Motivated by applications in Reinforcement Learning (RL), in this paper, we study a nonlinear Stochastic Approximation (SA) algorithm under Markovian noise, and derive its finite-sample convergence bounds. Our proof is based on the Lyapunov drift arguments, and to handle the Markovian noise, we exploit the fast mixing of the underlying Markov chain. Our result is used to show the finite-sample bounds of the popular Q-learning with linear function approximation algorithm for solving the RL problem. Since Q-learning with linear function approximation may diverge in general, we study it under a condition on the behavior policy that ensures the stability of the algorithm. Due to the generality of our SA results, we do not need to make the unnatural assumption that the samples are i.i.d. (since they are Markovian), and do not require an additional projection step in the algorithm to maintain the boundedness of the iterates.

研究の動機と目的

• マルコフ的ノイズを伴う強化学習の設定において、線形関数近似を用いたQ学習の有限標本収束を分析すること。
• 行動方策に適切な条件がなければ発散する可能性がある、線形関数近似を用いたQ学習の不安定性に対処すること。
• i.i.d.仮定を必要とせず、マルコフ的サンプリングを扱える一般化された確率的近似フレームワークを構築すること。
• 有界な反復値を維持するためにプロジェクションステップを必要としないようにすること。これは、先行研究の分析でしばしば用いられる手法である。
• 最小限の仮定のもとで収束保証を確立すること。その根拠として、基礎となるマルコフ連鎖の高速混合性に依存する。

提案手法

• マルコフ的ノイズ下での非線形確率的近似アルゴリズムの収束を分析するために、リャプノフのドリフト論法を用いる。
• 基礎となるマルコフ連鎖の高速混合性を活用して、連続するサンプル間の依存性を制御する。
• Q学習に線形関数近似を適用したものを、提案された確率的近似フレームワークの特別なケースとして分析する。
• 反復値の最適解からの期待偏差をバウンドすることで、有限標本バウンドを導出する。
• アルゴリズムの安定性を保証する行動方策に関する条件を導入する。
• 有界な反復値を維持するためのプロジェクションステップを避ける。代わりに、行動方策の条件によって生じる内在的安定性に依存する。

実験結果

リサーチクエスチョン

• RQ1 Q学習に線形関数近似を適用した場合、マルコフ的サンプリングのもとで有限時間内に収束する条件は何か？
• RQ2 i.i.d.標本やプロジェクションステップを仮定せずに、有限標本収束バウンドを確立できるか？
• RQ3 マルコフ連鎖の高速混合性は、確率的近似における誤差を制御するためにどのように寄与するか？
• RQ4 行動方策は、線形関数近似を用いたQ学習の安定性を保証するために果たす役割は何か？
• RQ5 一般化された確率的近似フレームワークは、i.i.d.仮定を必要とせず、マルコフ的ノイズ下での非線形更新を扱えるか？

主な発見

• i.i.d.標本を仮定せず、マルコフ的サンプリングのもとで、線形関数近似を用いたQ学習に対して有限標本収束バウンドが確立された。
• 分析により、アルゴリズムは安定性を保証する行動方策に関する条件のもとで収束することが示された。発散を防ぐ。
• リャプノフのドリフト法は、サンプルの非i.i.i.d.性を考慮しても、誤差ダイナミクスを効果的に制御できた。
• マルコフ連鎖の高速混合性は、時間的相関をバウンドし、収束解析を可能にする上で不可欠な役割を果たした。
• 反復値の有界性を維持するためのプロジェクションステップを必要としないため、アルゴリズムが簡素化され、実用性が向上した。
• 結果は、Q学習に限らず、一般の非線形確率的近似アルゴリズムのクラスに適用可能であり、広範な応用性を持つ。