[論文レビュー] Implementing spectral methods for hidden Markov models with real-valued emissions

Carl Mattfeld|arXiv (Cornell University)|Apr 29, 2014

Bayesian Methods and Mixture Models参考文献 9被引用数 5

ひとこと要約

この修士論文は、実数値の観測値を持つ隠れマルコフモデル（HMM）の学習にスペクトル法を実装・評価し、Hsuら（2012）およびAnandkumar ら（2012b）のアルゴリズムを、標準的な Baum-Welch EM 法と比較している。スペクトル法は、著しく低い計算量および標本複雑性を示すが、高次元の観測空間では不安定性が生じる。そのため、実数値データに対するためのビニング戦略が提案されている。

ABSTRACT

Hidden Markov models (HMMs) are widely used statistical models for modeling sequential data. The parameter estimation for HMMs from time series data is an important learning problem. The predominant methods for parameter estimation are based on local search heuristics, most notably the expectation-maximization (EM) algorithm. These methods are prone to local optima and oftentimes suffer from high computational and sample complexity. Recent years saw the emergence of spectral methods for the parameter estimation of HMMs, based on a method of moments approach. Two spectral learning algorithms as proposed by Hsu, Kakade and Zhang 2012 (arXiv:0811.4413) and Anandkumar, Hsu and Kakade 2012 (arXiv:1203.0683) are assessed in this work. Using experiments with synthetic data, the algorithms are compared with each other. Furthermore, the spectral methods are compared to the Baum-Welch algorithm, a well-established method applying the EM algorithm to HMMs. The spectral algorithms are found to have a much more favorable computational and sample complexity. Even though the algorithms readily handle high dimensional observation spaces, instability issues are encountered in this regime. In view of learning from real-world experimental data, the representation of real-valued observations for the use in spectral methods is discussed, presenting possible methods to represent data for the use in the learning algorithms.

研究の動機と目的

• EMに基づく手法で一般的に見られる局所最適解を避ける、実数値の観測値を持つHMMのスペクトル学習アルゴリズムの評価。
• スペクトル法（Hsu らおよび Anandkumar ら）と伝統的な Baum-Welch アルゴリズムとの間で、計算量および標本複雑性を比較する。
• 高次元の実数値観測空間にスペクトル法を適用した際の安定性と精度を調査する。
• 連続的出力値に対応するための実用的なデータ表現技術、特にビニングの開発と評価。
• 合成データ上で、パrameter推定の精度、実行時間、および頑健性を測定する、比較的実験的評価を提供する。

提案手法

• Hsu ら（2012）が提唱するスペクトル学習アルゴリズムを適応し、3階モーメントのテンソル分解を用いて、特異値分解（SVD）によりHMMパラメータを推定する。
• Anandkumar ら（2012b）が提唱するアルゴリズムを実装し、HMM学習を多視点混合モデルとして定式化し、経験的モーメントのテンソル分解を用いる。
• 実数値の観測値をカテゴリカル観測値に離散化する単純なビニング戦略を適用し、離散出力に特化したスペクトル法の利用を可能にする。
• 観測系列の経験的3階モーメントと、モデルパラメータから導出される理論的モーメントを一致させるモーメント法を採用する。
• 特異値分解（SVD）を用いて、モーメントテンソルの低ランク表現を抽出し、ややきめの識別可能性条件のもとで一貫したパラメータ推定を可能にする。
• 既知のパラメータを持つ合成HMM上でアルゴリズムを検証し、状態数および観測次元の変化に応じて推定誤差と実行時間を測定する。

実験結果

リサーチクエスチョン

• RQ1 実数値の観測値を持つ合成HMMにおいて、Hsu ら（2012）およびAnandkumar ら（2012b）のスペクトル学習アルゴリズムは、精度および計算効率においてどのように比較されるか？
• RQ2 スペクトル法と Baum-Welch アルゴリズムとの間で、推定精度および収束速度の面で、性能差はどの程度か？
• RQ3 実数値の観測値に対するビニングアプローチは、スペクトルHMM学習の精度および安定性にどのように影響するか？
• RQ4 高次元の実数値観測空間にスペクトル法を適用した際の制限は何か？
• RQ5 スペクトル法は、EMに基づくアプローチよりも少ない標本数および少ない計算量で、HMM学習において一貫したパラメータ推定を達成できるか？

主な発見

• スペクトルアルゴリズム（learnHKZ および learnAHK）は、Baum-Welch アルゴリズムと比較して、著しく低い計算量および標本複雑性を示す。
• 隠れ状態数 k=2 および k=3 の両方において、learnAHK は learnHKZ よりも一貫して高い精度と短い実行時間を達成しており、特に観測次元 d が増加するにつれて顕著である。
• Baum-Welch アルゴリズムは初期化がランダムの場合、高い分散と悪い収束を示すが、learnAHK からの初期化によりその性能が著しく向上する。
• 単純なビニングアプローチにより、実数値データに対するスペクトル学習が可能になったが、観測次元が増加するにつれて精度が低下し、高次元領域での不安定性が示唆される。
• 利点がある一方で、ビニングによる観測カテゴリ数が増えるとスペクトル法は不安定になることが判明し、離散化の精度と数値的安定性の間にはトレードオフがあることが示唆される。
• 実験的結果により、スペクトル法が Baum-Welch と同等またはそれ以上のパラメータ推定精度を達成し、特に高次元設定において著しく短い実行時間を達成することが確認された。