[論文レビュー] Adjusted Viterbi training for hidden Markov models

Jüri Lember, Alexey Koloydenko|ArXiv.org|Sep 14, 2007

Bayesian Methods and Mixture Models被引用数 5

ひとこと要約

本稿では、標準的Viterbi学習の計算効率を保ちつつ、漸近的一貫性とバイアスの低減を達成する、変更済みViterbi学習（AVT）を提案する。Viterbiアラインメントから得られる経験的測度を再生過程理論と再生過程を用いて補正することで、AVTは真のパラメータが漸近的固定点となることを保証し、標準的Viterbi学習の主な限界を克服する。

ABSTRACT

To estimate the emission parameters in hidden Markov models one commonly uses the EM algorithm or its variation. Our primary motivation, however, is the Philips speech recognition system wherein the EM algorithm is replaced by the Viterbi training algorithm. Viterbi training is faster and computationally less involved than EM, but it is also biased and need not even be consistent. We propose an alternative to the Viterbi training -- adjusted Viterbi training -- that has the same order of computational complexity as Viterbi training but gives more accurate estimators. Elsewhere, we studied the adjusted Viterbi training for a special case of mixtures, supporting the theory by simulations. This paper proves the adjusted Viterbi training to be also possible for more general hidden Markov models.

研究の動機と目的

• 隠れマルコフモデルにおける標準的Viterbi学習の不一貫性とバイアスを是正すること。これは真のパラメータを漸近的に認識できない点が特徴である。
• EMアルゴリズムの代替として計算効率が高く、収束が速く、計算量が少ない手法を開発すること。
• 真のパラメータが学習手順の漸近的固定点となることを保証すること。これはEMアルゴリズムに備わる性質であるが、標準的Viterbi学習には欠けている。
• 特別なケース（例：混合モデル）に限らない一般の有限状態隠れマルコフモデルへの調整済みViterbi学習の一般化を図ること。
• 再生過程理論と経験的測度の弱収束を用いて、調整済み手法の理論的一貫性を確立すること。

提案手法

• この手法は、現在のパラメータ推定値に基づく最も確率の高い隠れ状態系列を用いて、観測値を状態別サブサンプルに分割する。
• これらのサブサンプルから経験的測度 $ Q_l^n $ を構築し、再生過程理論を用いて、これがほとんど確実に極限測度 $ Q_l $ に弱収束することを示す。
• 極限測度 $ Q_l $ は、再生サイクル内での観測値と状態系列の同時分布から導かれる。これにより、状態条件付き観測値が適切に重み付けされる。
• 調整済み推定器は、$ Q_l^n $ に基づく最尤推定器として定義され、これが漸近的に真の発生分布 $ P_l $ を標的とする。
• 再生過程理論を用いて、$ Q_l^n $ が $ Q_l $ に収束することを証明する。ここで $ \tau_0^r $ は再生状態への最初の帰還時刻を表す。
• 真のパラメータが用いられた場合、得られる経験的測度 $ P_l^n $ がほとんど確実に真の分布に収束することを保証する。これにより一貫性が達成される。

実験結果

リサーチクエスチョン

• RQ1 Viterbi学習は、計算効率を保ちつつ、漸近的一貫性を達成するために調整可能か？
• RQ2 サンプルサイズが大きい場合、調整済みViterbi学習手順は真のパラメータを固定点として認識するか？
• RQ3 調整済みViterbi学習の理論的基盤を混合モデルから一般の隠れマルコフモデルに拡張可能か？
• RQ4 真のパラメータ下で、Viterbiアラインメントから得られる経験的測度の漸近的挙動はいかなるものか？
• RQ5 再生過程および再生過程理論を用いて、標準的Viterbi学習のバイアスはどのように是正可能か？

主な発見

• 調整済みViterbi学習は、経験的測度 $ Q_l^n $ がほとんど確実に極限測度 $ Q_l $ に弱収束することを達成し、真のパラメータ下で一貫性を保証する。
• 極限測度 $ Q_l $ は、状態 $ l $ の期待滞在時間に比例することが示され、プロセスの再生構造によって補正される。
• $ Q_l^n $ に基づく調整済み推定器は、真の発生パラメータ $ \theta_l $ に対して一貫性を示す。これは標準的Viterbi学習では達成できない。
• この手法は、標準的Viterbi学習と同等の計算複雑度を維持するため、音声認識などの大規模応用に適している。
• $ Q_l^n $ が $ Q_l $ に収束することは、Viterbiプロセスの再生構造を用いて証明され、$ \tau_0^r $ は再生状態への最初の帰還時刻を表す。
• 理論的枠組みにより、調整済みViterbi学習が標準的Viterbi学習のバイアスを是正し、真のパラメータが漸近的固定点となることを確認した。