[論文レビュー] Measure Concentration of Hidden Markov Processes

Leonid Kontorovich|ArXiv.org|Aug 2, 2006

Markov Chains and Monte Carlo Methods参考文献 6被引用数 7

ひとこと要約

この論文は、隠れマルコフ過程のための最初の集中測度結果を確立した。それは、関連するマルコフ過程の収縮係数を制限することで得られ、隠れ過程がその隠れ状態過程ほど集中していることを示している。主な貢献は、依存係数 $\bar{\eta}_{ij}$ に対するタイトな上界を、遷移収縮係数 $\theta_i \cdots \theta_{j-1}$ の積として得ることであり、マルコフ連鎖に対する既存の結果を一般化している。

ABSTRACT

We prove what appears to be the first concentration of measure result for hidden Markov processes. Our bound is stated in terms of the contraction coefficients of the underlying Markov process, and strictly generalizes the Markov process concentration results of Marton (1996) and Samson (2000). Somewhat surprisingly, the bound turns out to be the same as for ordinary Markov processes; this property, however, fails for general hidden/observed process pairs.

研究の動機と目的

• 隠れマルコフ過程のための集中測度不等式を確立すること、これは以前に達成されていなかった。
• 収縮係数に基づく既存の集中技術を、マルコフ過程から隠れマルコフ過程へと拡張すること。
• 観測された過程の集中行動が、その下位の隠れマルコフ過程のそれと同等か、それ以上であるかどうかを調査すること。
• 全変動ノルムと行列に基づく解析を用いて、隠れマルコフモデル内の依存構造を形式化すること。

提案手法

• 論文は、観測確率 $q_\ell(x_\ell|\hat{x}_\ell)$ を用いて隠れ状態 $\hat{X}_i$ と観測状態 $X_i$ を結びつける、マルコフ連鎖の混合として隠れマルコフ過程を定義する。
• 依存係数 $\bar{\eta}_{ij}(y,w,w')$ を、異なる現在の観測値を前提とした将来状態の条件付き分布間の全変動距離として定義する。
• 中心的な手法は、行列代数とマルコフ収縮補題を用い、$\eta_{ij}(y,w,w')$ を遷移収縮係数 $\theta_i \cdots \theta_{j-1}$ の積によって制限すること。
• 符号付き測度 $\mathbf{h}$ と $\mathbf{z}$ を用いたベクトルベースの議論を行い、差の再帰的伝播を通じて $\|\mathbf{z}\|_{\textrm{TV}} \leq \theta_i \cdots \theta_{j-1}$ を示す。
• 初期の摂動ベクトル $\mathbf{h}$ が和がゼロで、全変動ノルムが1以下であることを確認することで、$\bar{\eta}_{ij} \leq \theta_i \cdots \theta_{j-1}$ の境界を導出する。
• 集中不等式への一般化には $\Gamma$ および $\Delta$ 行列を適用し、サムソンとコントロヴィチ＝ラマナンの先行結果を隠れ過程の状況にまで拡張する。

実験結果

リサーチクエスチョン

• RQ1 観測列が非マルコフ的であるため、隠れマルコフ過程のための集中測度を確立できるか？
• RQ2 観測過程 $X_i$ の集中行動は、その下位の隠れマルコフ過程 $\hat{X}_i$ のそれと同等か、それ以上であるか？
• RQ3 隠れマルコフ連鎖の収縮係数を用いて、観測過程における依存係数 $\bar{\eta}_{ij}$ を制限できるか？
• RQ4 観測ノイズの追加による層を経て、観測過程は隠れ過程の集中特性を継承するか、それ以上に及ぶか？

主な発見

• 論文は、下位のマルコフ過程の収縮係数 $\theta_k$ を用いて $\bar{\eta}_{ij} \leq \theta_i \theta_{i+1} \cdots \theta_{j-1}$ を証明した。
• この境界は、単純なマルコフ過程に導かれたものと同じ形をしており、隠れマルコフ過程がその隠れ状態過程ほど集中していることを示している。
• この結果は、マートン（1996年）とサムソン（2000年）の先行集中境界を一般化し、隠れ過程の設定にまで拡張している。
• 数値的反例により、この境界は非マルコフ的隠れ過程に一般化できないことが示され、$\bar{\eta}_{ij}(X)$ が $\bar{\eta}_{ij}(\hat{X})$ より顕著に大きくなることがある。
• 初期状態の差の影響が、収縮係数の積に指数的に減少することを、全変動ノルムと行列伝播を用いたベクトル化摂動解析によって証明している。
• 解析により、観測過程が、観測列における非マルコフ構造にもかかわらず、隠れ過程の集中特性を継承することが確認された。