[論文レビュー] Characterizing the Exact Behaviors of Temporal Difference Learning Algorithms Using Markov Jump Linear System Theory

Bin Hu, Usman Syed|arXiv (Cornell University)|Jun 16, 2019

Neural Networks Stability and Synchronization被引用数 28

ひとこと要約

本稿では、マルコフ跳躍線形システム（MJLS）理論を用いて、線形関数近似を用いた時系列差分（TD）学習の平均および分散のダイナミクスを統一的かつ正確に特徴づける。TD誤差の平均および分散の閉形式式を導出し、スペクトル半径を用いた収束条件を確立し、i.i.d.およびマルコフノイズ設定の両方において、平均二乗TD誤差が線形収束して明確な限界値に到達することを示している。

ABSTRACT

In this paper, we provide a unified analysis of temporal difference learning algorithms with linear function approximators by exploiting their connections to Markov jump linear systems (MJLS). We tailor the MJLS theory developed in the control community to characterize the exact behaviors of the first and second order moments of a large family of temporal difference learning algorithms. For both the IID and Markov noise cases, we show that the evolution of some augmented versions of the mean and covariance matrix of the TD estimation error exactly follows the trajectory of a deterministic linear time-invariant (LTI) dynamical system. Applying the well-known LTI system theory, we obtain closed-form expressions for the mean and covariance matrix of the TD estimation error at any time step. We provide a tight matrix spectral radius condition to guarantee the convergence of the covariance matrix of the TD estimation error, and perform a perturbation analysis to characterize the dependence of the TD behaviors on learning rate. For the IID case, we provide an exact formula characterizing how the mean and covariance matrix of the TD estimation error converge to the steady state values at a linear rate. For the Markov case, we use our formulas to explain how the behaviors of TD learning algorithms are affected by learning rate and the underlying Markov chain. For both cases, upper and lower bounds for the mean square TD error are provided. The mean square TD error is shown to converge linearly to an exact limit.

研究の動機と目的

• 時系列差分学習に線形関数近似器を用いる場合の統一的理論的枠組みを提供すること。
• i.i.d.およびマルコフノイズの両設定下で、TD推定誤差の平均および分散の正確な進化を特徴づけること。
• 行列のスペクトル半径解析を用いて、TD誤差の分散行列の収束条件を明確にすること。
• 両方のノイズモデルに対して、平均二乗TD誤差のタイトな上界および下界を導出すること。
• TD学習の挙動が学習率および基礎となるマルコフ連鎖構造にどのように敏感であるかを分析すること。

提案手法

• TD学習アルゴリズムを、マルコフ跳躍線形システム（MJLS）にマッピング可能な拡張状態空間系としてモデル化する。
• MJLS理論を用いて、TD誤差の平均および分散行列の進化を正確に記述する決定的線形時不変（LTI）ダイナミクスを導出する。
• 既存のLTIシステム理論を適用し、任意の時刻ステップにおける平均および分散の閉形式解析的表現を取得する。
• TD推定誤差の分散行列の収束を保証するタイトな行列スペクトル半径条件を導出する。
• 摂動解析を実施し、TD挙動が学習率にどのように依存するかを定量的に評価する。
• 導出された式を用いて、マルコフノイズ設定下での学習率およびマルコフ連鎖パラメータがTD学習ダイナミクスに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.ノイズ下で、線形関数近似を用いたTD学習の正確な平均および分散ダイナミクスはどのように特徴づけられるか？
• RQ2 TD推定誤差の分散行列が収束する明確な条件は何か？
• RQ3 学習率は、平均二乗TD誤差の収束速度および定常状態挙動にどのように影響するか？
• RQ4 基礎となるマルコフ連鎖の性質は、TD学習アルゴリズムの挙動にどのように影響するか？
• RQ5 i.i.d.およびマルコフノイズの両状況下で、平均二乗TD誤差のタイトな上界および下界は何か？

主な発見

• TD推定誤差の平均および分散行列の進化は、決定的LTIシステムに従い、正確な閉形式解が得られる。
• TD推定誤差の分散行列の収束を保証するタイトな行列スペクトル半径条件が導出された。
• i.i.d.ノイズ設定では、平均および分散が線形レートで定常値に収束し、明確な公式が提供された。
• マルコフノイズ設定では、学習率およびマルコフ連鎖の遷移構造がTD学習挙動に共同で影響することを明らかにした。
• 平均二乗TD誤差は、明確な限界値に線形収束し、両方のノイズモデルに対してタイトな上界および下界が導出された。
• 摂動解析により、TD誤差ダイナミクスが学習率に明示的に依存しており、システム行列のスペクトル特性を用いて定量的に評価された。