[論文レビュー] Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions

Christian Gruhl, Bernhard Sick|arXiv (Cornell University)|May 27, 2016

Anomaly Detection Techniques and Applications参考文献 1被引用数 4

ひとこと要約

本稿では、多次元ガウス出力分布を有する隠れマルコフモデル（HMM）のための変分ベイズ推論フレームワークを提案する。2次パラメータ推定への拡張により、不確実性を扱い、過学習を防ぐ。この手法は共役事前分布（ガウス＝ウィッシュァート）を用い、パラメータの閉形式更新式を導出することで、EMに基づく手法（バウム＝ウェルチ法）に見られる特異性を回避する。

ABSTRACT

Hidden Markov Models (HMM) have been used for several years in many time series analysis or pattern recognitions tasks. HMM are often trained by means of the Baum-Welch algorithm which can be seen as a special variant of an expectation maximization (EM) algorithm. Second-order training techniques such as Variational Bayesian Inference (VI) for probabilistic models regard the parameters of the probabilistic models as random variables and define distributions over these distribution parameters, hence the name of this technique. VI can also bee regarded as a special case of an EM algorithm. In this article, we bring both together and train HMM with multivariate Gaussian output distributions with VI. The article defines the new training technique for HMM. An evaluation based on some case studies and a comparison to related approaches is part of our ongoing work.

研究の動機と目的

• 多次元ガウス出力分布を有するHMMのための2次訓練手法を、変分ベイズ推論を用いて開発すること。
• バウム＝ウェルチ法の限界、例えば局所最適値への敏感さやパラメータの特異性を是正すること。
• 事前知識の組み込みとHMMパラメータ推定における不確実性の定量化を実現すること。
• ベイズ非パラメトリック拡張を用いて、自動的にモデルの複雑さを選択可能にする。
• 訓練済みHMMを用いた異常検出の基盤を構築すること。

提案手法

• 潜在変数およびモデルパラメータの事後分布を近似するための変分推論フレームワークを用いる。
• 多次元ガウス出力における平均と精度行列の共同モデリングに、共役事前分布（ガウス＝ウィッシュァート）を採用する。
• 下界の期待値（ELBO）最適化を用いて、変分パラメータの閉形式更新式を導出する。
• 隠れ状態およびモデルパラメータの変分分布を用いた、反復的で期待最大化に類似したアルゴリズムを適用する。
• 初期化に非情報的事前分布を導入し、状態遷移確率は一様または自己ループに固定事前分布を設定する。
• 事後分布の平均と分散を用いて、最尤推定（MAP）または事後期待値による点推定を導出する。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ推論は、多次元ガウス出力分布を有するHMMにどのように効果的に適応可能か？
• RQ2 HMMの訓練において、2次パラメータ推定が点推定よりも優れる点は何か？
• RQ3 本手法は、バウム＝ウェルチ法と比較して、訓練中にパラメータの特異性をどのように回避するか？
• RQ4 このフレームワークは、隠れ状態数の自動選択を自然にサポートできるか？
• RQ5 ベンチマークデータ上での標準EMベースの訓練と比較して、本手法の性能はいかがなものか？

主な発見

• 提案された変分ベイズHMMフレームワークは、共役事前分布と閉形式更新式を用いて、多次元ガウス出力分布を効果的に処理できる。
• パラメータの事後分布を完全にモデル化することで、不確実性を扱い、過学習とパラメータ特異性を防止する。
• ガウス＝ウィッシュァート事前分布の使用により、平均と分散推定における原理的で整合性のある事前知識の組み込みと不確実性の定量化が可能となる。
• 分散がゼロに収束するようなEMの病理的挙動を、低分散領域における非ゼロの事前密度のおかげで回避できる。
• 予備的な結果から、本手法はロバストな訓練が可能であり、時系列異常検出などの後続タスクに適していることが示唆されている。