[論文レビュー] Convergence of a Second Order Markov Chain

Shenglong Hu, Liqun Qi|arXiv (Cornell University)|Jul 26, 2013

Tensor decomposition and applications参考文献 2被引用数 6

ひとこと要約

この論文は、遷移確率テンソルのすべての成分が $\frac{1}{2n}$ を超える条件のもとで、2次モーメント法および2次マルコフ過程が、2次マルコフ連鎖の唯一の定常分布を収束させるグローバル線形収束を確立する。主な貢献は、非線形写像 $F_P(x) = Px^2$ のヤコビアンの固有値に 1 が含まれない場合、標準単体上では、一意な不動点が存在し、線形レートでグローバルに収束することが保証されることの証明である。

ABSTRACT

In this paper, we consider convergence properties of a second order Markov chain. Similar to a column stochastic matrix is associated to a Markov chain, a so called {\em transition probability tensor} $P$ of order 3 and dimension $n$ is associated to a second order Markov chain with $n$ states. For this $P$, define $F_P$ as $F_P(x):=Px^{2}$ on the $n-1$ dimensional standard simplex $Δ_n$. If 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$ and $P$ is irreducible, then there exists a unique fixed point of $F_P$ on $Δ_n$. In particular, if every entry of $P$ is greater than $\frac{1}{2n}$, then 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$. Under the latter condition, we further show that the second order power method for finding the unique fixed point of $F_P$ on $Δ_n$ is globally linearly convergent and the corresponding second order Markov process is globally $R$-linearly convergent.

研究の動機と目的

• 2次マルコフ連鎖が一意な定常分布を持つための条件を確立すること。
• 非線形写像 $F_P(x) = Px^2$ の不動点を求めるための2次パワー法の収束挙動を分析すること。
• 遷移テンソルの弱い正則性条件下で、2次マルコフ過程のグローバル $R$-線形収束を証明すること。
• テンソルに基づくモデルを用いて、古典的マルコフ連鎖収束結果を高次マルコフ連鎖へ拡張すること。

提案手法

• 遷移確率テンソル $P$ を用いて、$F_P: \Delta_n \to \Delta_n$ を $F_P(x)_i = \sum_{j,k=1}^n p_{ijk} x_j x_k$ で定義する。
• 不動点指数論を用いて、$\nabla F_P$ に固有値 1 が存在しないことと、非可約性の下で、標準単体 $\Delta_n$ 上での $F_P$ の不動点の一意性を証明する。
• すべての成分が $p_{ijk} > \frac{1}{2n}$ を満たす $\delta > 0$ を用いて、$\|x^{(k+1)} - x^*\|_1 \leq (2 - 2n\delta)^{\lceil (k+2)/2 \rceil}$ を示すことにより、2次パワー法のグローバル線形収束を確立する。
• 同じ $\delta$-依存条件を用いて、$x^{(s)} = P x^{(s-1)} x^{(s-2)}$ の誤差減衰を評価することで、マルコフ過程のグローバル $R$-線形収束を証明する。
• 条件 $p_{ijk} > \frac{1}{2n}$ を用いて、$\nabla F_P$ に固有値 1 が存在しないことを保証し、これにより不動点の一意性と収束の保証が得られることを示す。
• DNA配列テンソルおよび $n=100$ のランダムに生成されたテンソルを用いた数値実験により、理論的結果を検証し、理論的バインドと整合することを示す。

実験結果

リサーチクエスチョン

• RQ1 2次マルコフ連鎖が一意な定常分布を持つための条件は何か？
• RQ2 2次パワー法が非線形写像 $F_P(x) = Px^2$ の不動点にグローバルに線形収束するのはいつか？
• RQ3 2次マルコフ過程 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$ がグローバルに $R$-線形収束するのはいつか？
• RQ4 遷移テンソル $P$ の成分の正則性が、$\nabla F_P$ のスペクトル的性質および収束に与える影響は何か？

主な発見

• 遷移確率テンソル $P$ のすべての成分が $\frac{1}{2n}$ を超えるならば、$\nabla F_P$ に固有値 1 が存在しないことが保証され、$F_P$ の不動点の一意性が保証される。
• 同じ成分の正則性条件下で、2次パワー法は、$F_P$ の唯一の不動点にグローバルに線形収束する。
• 同じ条件下で、2次マルコフ過程 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$ はグローバルに $R$-線形収束する。
• 数値実験により理論的収束レートが確認された：$n=3$ の場合、パワー法は平均 9.1 回の反復、マルコフ過程は 12 回の反復で $10^{-6}$ の許容誤差内に収束した。
• $n=100$ の場合、正則性条件を満たすランダムに生成されたテンソルは、理論的 $R$-線形レートに密接に束縛された収束曲線を示した。
• 導出された収束バインドはタイトであり、シミュレーションでは誤差の減衰レートが理論的 $O((2 - 2n\delta)^{\lceil k/2 \rceil})$ の挙動と一致した。