[論文レビュー] A Spectral Algorithm for Inference in Hidden Semi-Markov Models

Igor Melnyk, Arindam Banerjee|arXiv (Cornell University)|Jul 12, 2014

Bayesian Methods and Mixture Models参考文献 38被引用数 7

ひとこと要約

本稿では、EMによるパrameter推定を回避する新しいスペクトル的手法を、隠れ部分マルコフモデル（HSMM）における推論に適用する。この手法は、低次の標本モーメントのテンソル分解を用いて観測系列の確率を計算する。計算効率が高く、系列長に依存しない固定数の行列演算で実行され、最大状態持続期間の対数スケーリングで、証明可能に一貫性のある推論を達成する。

ABSTRACT

Hidden semi-Markov models (HSMMs) are latent variable models which allow latent state persistence and can be viewed as a generalization of the popular hidden Markov models (HMMs). In this paper, we introduce a novel spectral algorithm to perform inference in HSMMs. Unlike expectation maximization (EM), our approach correctly estimates the probability of given observation sequence based on a set of training sequences. Our approach is based on estimating moments from the sample, whose number of dimensions depends only logarithmically on the maximum length of the hidden state persistence. Moreover, the algorithm requires only a few matrix inversions and is therefore computationally efficient. Empirical evaluations on synthetic and real data demonstrate the advantage of the algorithm over EM in terms of speed and accuracy, especially for large datasets.

研究の動機と目的

• EMに基づく学習におけるHSMMの限界、すなわち収束が遅く、一貫性の保証がないという問題を解決すること。
• 明示的なパrameter推定を伴わず、計算的に効率的かつ証明可能に一貫性のあるHSMM推論手法を開発すること。
• HSMM推論における標本モーメントの次元を低減し、潜在的状態の持続長に対するスケーラビリティを確保すること。
• モデルパラメータに依存せず、標本モーメントのみを用いて観測系列に対する直接推論を可能にすること。
• HSMMにスペクトル推論フレームワークを拡張し、構造的均一性を活用することで、効率性を向上させること。

提案手法

• 本手法はテンソル代数を用いてHSMM推論を定式化し、観測系列の確率を標本モーメントから導出されたテンソルの積として表現する。
• 2次および3次標本モーメントを活用して、観測分布の表現を構築し、明示的なパラメータ推定を回避する。
• テンソルの縮約と行列の逆演算を用いて系列の確率を抽出するが、その演算回数は系列長に依存しない。
• モデルをデータから直接推定可能な形に変換するため、アイデンティティテンソルと逆テンソルを導入し、一貫性を保証する。
• HSMMの均一性を活用することで、必要な行列演算の数を削減し、テンソルの次元が最大状態持続時間に対して対数的依存性を示すようにする。
• バッチまたは逐次的なモーメント推定の後、周辺化を用いて系列確率を計算することで、標本モーメントから直接観測分布を推定する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル手法をEMに基づくパラメータ推定に依存せずにHSMMにおける推論に適応可能か？
• RQ2 HSMMにおけるスペクトル推論の計算複雑性を、精度を損なわず最小限に抑える方法は何か？
• RQ3 HSMMにおけるテンソルの次元は、最大潜在状態持続時間にどのように依存するか？
• RQ4 局所最適解やEMの収束遅延を回避できる、一貫性があり効率的な推論アルゴリズムを開発可能か？
• RQ5 合成および実世界のHSMM推論タスクにおいて、スペクトルアプローチはEMをどの程度上回るか（速度および精度の面で）？

主な発見

• 訓練サンプル数が増加するにつれて、EMと同等またはそれ以上の推論精度を達成し、データ量の増加に伴い一貫した性能向上を示す。
• 合成および実世界の両データセットにおいて、EMに比べて桁違いに高速であり、大規模な設定でも顕著な高速化が観察された。
• 標本モーメントテンソルの次元数は、最大状態持続期間に対して対数的依存性にのみ依存し、長時間持続する状態に対してもスケーラブルである。
• 系列長に依存しない固定数の行列逆演算と乗算のみを要するため、計算効率が保証される。
• 標本モーメントを用いて観測分布を直接データから推定するため、モデルパラメータの回復を必要としない。
• 実験結果から、スペクトル手法が初期値に強く依存せず、EM法で一般的に見られる局所最適解の問題を回避することが確認された。