[論文レビュー] On approximation of smoothing probabilities for hidden Markov models

Jüri Lember|arXiv (Cornell University)|Oct 24, 2009

Bayesian Methods and Mixture Models参考文献 12被引用数 4

ひとこと要約

本稿は、一般のクラスタ条件の下で、隠れマルコフモデル（HMM）における指数的忘却を確立し、二重方向HMMを用いた平滑化確率の正確な近似を可能にする。分割リスクのほとんど確実な収束が定常リスクに達することを証明し、統計的学習の応用における極限定理へのマルコフ過程のエルゴード定理の適用を裏付ける。

ABSTRACT

We consider the smoothing probabilities of hidden Markov model (HMM). We show that under fairly general conditions for HMM, the exponential forgetting still holds, and the smoothing probabilities can be well approximated with the ones of double sided HMM. This makes it possible to use ergodic theorems. As an applications we consider the pointwise maximum a posteriori segmentation, and show that the corresponding risks converge.

研究の動機と目的

• HMMにおける平滑化確率が二重方向HMMのそれによってよく近似できる条件を確立すること。
• HMMにおける平滑化確率を含む極限定理にエルゴード定理を適用することの正当化。
• 点ごとの最大後確信度分割リスクが定常リスクに定数に収束することの分析。
• 正の遷移行列や発生密度といった仮定の緩和を通じて、既存の結果を拡張すること。
• HMMに基づく分割における漸近分類リスクのシミュレーションによる推定に対する理論的支援を提供すること。

提案手法

• クラスタ仮定Aを用いて、有限区間と無限区間の平滑化確率間の全 Variation 距離に対する指数的バインドを導出する。
• Levyのマルティンゲール収束定理を適用し、有限区間の平滑化分布が二重方向極限にほとんど確実に収束することを示す。
• 二重方向近似バインドを確立：$\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ a.s. で、$\rho_0 \in (0,1)$。
• 過程$\{C'_k\}$のエルゴード性を活用し、近似バインドが実用的に有用であることを保証する。
• 全 Variation 距離を用いて条件付きリスクの差をバインドする：$|R_t(s|X_{-\infty}^\infty) - R_t(s|X_1^n)| \leq l(s) \|P(Y_t\in\cdot|X_1^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\|$。
• Kacの帰還時間定理とSheffeの補題を適用し、最小リスク$R(X^n)$が定数$R$にほとんど確実かつ$L_1$収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 有限区間の平滑化確率$P(Y_t = s | X_z^n)$が、二重方向平滑化確率$P(Y_t = s | X_{-\infty}^\infty)$に指数的に速く収束する条件は何か？
• RQ2 正の遷移行列や発生密度を超える一般条件のもとで、HMMにおける平滑化過程にエルゴード定理を適用できるか？
• RQ3 観測長が増加する際、点ごとの最大後確信度分割リスクがほとんど確実かつ$L_1$で定数に収束するか？
• RQ4 クラスタ仮定Aの下で、有限区間と無限区間の平滑化分布間の全 Variation 距離をどのようにバインドできるか？
• RQ5 最小分割リスク$R(X^n)$の漸近的挙動は何か？ また、シミュレーションによって一貫して推定可能か？

主な発見

• クラスタ仮定Aの下で、有限区間と二重方向平滑化確率間の全 Variation 距離は指数的に減少する：$\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ a.s. で、$\rho_0 \in (0,1)$。
• 平滑化確率の近似誤差は一様に有界であり、時間とともに幾何的に減少するため、エルゴード定理の適用が可能になる。
• 点ごとのリスク$R_t(s|x^n)$はほとんど確実かつ$L_1$で$R_t(s|X_{-\infty}^\infty)$に収束し、誤差は全 Variation 距離と損失バインドの積で抑えられる。
• 最小分割リスク$R(X^n) = \min_{s^n} R(s^n|x^n)$はほとんど確実かつ$L_1$で定数$R$に収束し、これは漸近的平均分類誤差を表す。
• 漸近的リスク$R$は適切に定義されており、解析的に計算が難しい場合でも、シミュレーションによって一貫して推定可能である。
• 有限の確率変数$C'$の存在と$\{C'_k\}$のエルゴード性により、近似バインドが大標本応用においても有効であることが保証される。