[論文レビュー] On the Stability of Random Matrix Product with Markovian Noise: Application to Linear Stochastic Approximation and TD Learning

Alain Durmus, Éric Moulines+3 more|arXiv (Cornell University)|Jan 30, 2021

Reinforcement Learning in Robotics参考文献 19被引用数 5

ひとこと要約

本稿は、一般のマーカフ連鎖によって駆動されるランダム行列積の指数的安定性を、緩い条件下で確立する。具体的には、スーパー・リャプノフのドリフト条件と行列関数の制御された成長を仮定する。線形確率的近似とマーカフ連鎖ノイズを伴うTD学習における有限時間p次のモーメントバウンドを導出し、従来の結果を有界でない状態空間および有界でない行列関数にまで拡張する。

ABSTRACT

This paper studies the exponential stability of random matrix products driven by a general (possibly unbounded) state space Markov chain. It is a cornerstone in the analysis of stochastic algorithms in machine learning (e.g. for parameter tracking in online learning or reinforcement learning). The existing results impose strong conditions such as uniform boundedness of the matrix-valued functions and uniform ergodicity of the Markov chains. Our main contribution is an exponential stability result for the $p$-th moment of random matrix product, provided that (i) the underlying Markov chain satisfies a super-Lyapunov drift condition, (ii) the growth of the matrix-valued functions is controlled by an appropriately defined function (related to the drift condition). Using this result, we give finite-time $p$-th moment bounds for constant and decreasing stepsize linear stochastic approximation schemes with Markovian noise on general state space. We illustrate these findings for linear value-function estimation in reinforcement learning. We provide finite-time $p$-th moment bound for various members of temporal difference (TD) family of algorithms.

研究の動機と目的

• 一般のマーカフ連鎖ノイズ下での線形確率的近似（LSA）および時系列差分（TD）学習における有限時間モーメントバウンドの欠如に対処する。
• 従来の研究が均一幾何的混合性（UGE）と行列関数の一様有界性を要件としていたという制限を克服する。
• LSAおよびTD学習における非有界状態空間および非有界行列値関数への安定性解析を拡張する。
• 弱い混合性条件下でのランダム行列積のp次のモーメント安定性を分析する一般枠組みを提供する。
• 実用的で非有界な設定における強化学習アルゴリズムの有限時間性能保証を可能にする。

提案手法

• スーパー・リャプノフのドリフト条件から導かれるリャプノフ関数Vを用いた、(V,q)-指数的安定性条件を導入する。
• ドリフト条件に関連する関数W₁とW₂を用いて行列の成長バウンドを定義し、非有界行列を許容する。
• 時不変マルコフ核と幾何的モーメント生成関数を組み合わせた、新しいリャプノフ関数の構成法を用いる。
• 小さな集合に対するカップリングおよび部分集合集合の議論を用いて、ランダム行列積のドリフト条件を確立する。
• 安定性結果を応用して、LSAの誤差を重み付き行列積の和と初期誤差に分解し、モーメントバウンドを導出する。
• 時間区間カップリング技術を用いて行列積の尾部挙動を制御し、指数的モーメント不等式を用いてモーメントバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 均一幾何的混合性を要件としないスーパー・リャプノフのドリフト条件のもとで、ランダム行列積の指数的安定性を確立できるか？
• RQ2 行列関数が非有界である場合に、マーカフ連鎖ノイズを伴う線形確率的近似における有限時間p次のモーメントバウンドをどのように導出できるか？
• RQ3 一般（非有界状態空間を含む）マーカフ連鎖のもとで、行列関数の成長に関するどのような条件がモーメント安定性を保証するか？
• RQ4 提案された枠組みを時系列差分学習アルゴリズムに適用し、有限時間性能保証を導出できるか？
• RQ5 リャプノフ関数とドリフト条件は、高階モーメントにおける行列積の成長をどのように制御するか？

主な発見

• 本稿は、スーパー・リャプノフのドリフト条件と制御された行列成長のもとで、非有界な行列関数が存在する場合でも、(V,q)-指数的安定性を確立する。
• 一般状態空間における定数ステップサイズおよび減少ステップサイズの線形確率的近似スキームに対して、有限時間p次のモーメントバウンドを導出する。
• 従来の研究よりも弱い条件下で有効である：均一幾何的混合性やA(z)およびb(z)の一様有界性は必要としない。
• TD学習に対しては、TD(0)、TD(λ)、および関数近似付きTD(λ)を含むTD族のさまざまなメンバーに対して、有限時間p次のモーメントバウンドを導出する。
• 小集合条件を証明するために、幾何的モーメント生成関数と部分集合集合の議論を組み合わせた、新しいリャプノフ関数の構成法を導入する。
• 主な技術的イノベーションは、時間区間カップリングと、モーメントバウンドにおける指数的減衰率を制御するための巧みなパラメータβ₀の使用である。