[論文レビュー] Clustering hidden Markov models with variational HEM

Emanuele Coviello, Antoni B. Chan+1 more|arXiv (Cornell University)|Oct 24, 2012

Music and Audio Processing参考文献 31被引用数 24

ひとこと要約

本稿では、隠れマルコフモデル（HMM）のクラスタリングのための新しいアルゴリズムである変分的HEM（VHEM）を提案する。この手法は、パラメータではなく、それらの背後にある確率分布に基づいてHMMをグループ化することで、推定が困難な期待値を扱うために変分推論を用いた階層的EMフレームワークを採用する。この方法により、時間系列応用分野（モーショングラフ、音楽アノテーション、筆跡認識など）におけるクラスタリング精度とロバスト性を向上させる代表的HMMクラスタ中心を効率的に学習できる。

ABSTRACT

The hidden Markov model (HMM) is a widely-used generative model that copes with sequential data, assuming that each observation is conditioned on the state of a hidden Markov chain. In this paper, we derive a novel algorithm to cluster HMMs based on the hierarchical EM (HEM) algorithm. The proposed algorithm i) clusters a given collection of HMMs into groups of HMMs that are similar, in terms of the distributions they represent, and ii) characterizes each group by a "cluster center", i.e., a novel HMM that is representative for the group, in a manner that is consistent with the underlying generative model of the HMM. To cope with intractable inference in the E-step, the HEM algorithm is formulated as a variational optimization problem, and efficiently solved for the HMM case by leveraging an appropriate variational approximation. The benefits of the proposed algorithm, which we call variational HEM (VHEM), are demonstrated on several tasks involving time-series data, such as hierarchical clustering of motion capture sequences, and automatic annotation and retrieval of music and of online hand-writing data, showing improvements over current methods. In particular, our variational HEM algorithm effectively leverages large amounts of data when learning annotation models by using an efficient hierarchical estimation procedure, which reduces learning times and memory requirements, while improving model robustness through better regularization.

研究の動機と目的

• パラメータベースの距離ではなく、生成分布に基づいてHMMをクラスタリングする有効な手法の欠如に応えること。
• HMMの生成モデルと整合的な代表的HMMクラスタ中心を学習できる階層的EMベースのアルゴリズムを開発すること。
• HEMのEステップにおける推定が困難な問題を、変分最適化問題として定式化することで克服すること。
• 特に意味的アノテーションのための階層的モデル推定において、大規模HMMクラスタリングタスクにおけるスケーラビリティとロバスト性を向上させること。
• 直接的に分布をクラスタリングすることで、状態順列の感度や非線形パラメータ多様体の影響を排除すること。

提案手法

• HMMのクラスタリングのための一般化された階層的EM（HEM）フレームワークを提案し、Eステップでは入力HMMから得られるすべての可能な観測値の上での期待十分統計を計算する。
• 真の後部確率分布の近似としての変分近似を導入し、推定が困難なEステップを計算的に実行可能にする。
• 混合モデルの対数尤度に対する変分下界を用いて、HMMパラメータ（遷移、発生、混合重み）の更新式を導出する。
• 基本HMMモデルの重み付き和演算子を用いて期待十分統計を計算し、クラスタ中心パラメータの効率的最適化を可能にする。
• 隠れ状態列および観測列の周辺化に変分推論を適用し、クラスタ中心の整合的推定を保証する。
• 付録Cの最適化技術を用いて、HMMパラメータの閉形式更新式を導出する。特に、混合重みのDirichlet制約最大化と、発生部の指数型分布族更新を含む。

実験結果

リサーチクエスチョン

• RQ1 HMMは、パラメータベクトルではなく、その背後にある確率分布に基づいて効果的にクラスタリング可能か？ これにより、非線形パラメータ多様体や状態順列の感度の問題を回避できるか？
• RQ2 階層的EMアルゴリズムは、HMMの生成モデルと整合的な代表的HMMクラスタ中心を同時に学習できるように適応可能か？
• RQ3 変分推論は、HMMクラスタリングのためのHEMの困難なEステップを効果的に近似可能か？ これにより、スケーラブルでロバストな学習が可能か？
• RQ4 提案されたVHEMアルゴリズムは、実世界の時間系列データにおいて、クラスタリング精度とモデルのロバスト性の面で、既存のHMMクラスタリング手法を上回るか？
• RQ5 VHEMは、音楽や動画の意味的アノテーションのような大規模HMM混合推定において、計算コストとメモリ使用量を低減できるか？

主な発見

• VHEMアルゴリズムは、HMMの生成分布に基づいてクラスタリングに成功し、状態順列の感度や非ユークリッド幾何学の問題を引き起こすパラメータ空間クラスタリングの欠陥を回避した。
• ベースラインのスペクトルクラスタリングおよびパラメータベースk-meansと比較して、モーショングラフシーケンス、音楽アノテーション、オンライン筆跡認識タスクでより優れたクラスタリング性能を達成した。
• 変分近似を活用することで、VHEMは学習時間を短縮し、メモリ要件を削減しながら、より良い正則化によるモデルのロバスト性を向上させた。
• このアルゴリズムは、類似したHMMのグループを的確に要約するコンactで代表的なHMMクラスタ中心を効果的に学習でき、階層的モデル推定を効率的に行える。
• 実験的結果から、特に大規模データセットからのアノテーションモデル学習において、VHEMは既存手法を上回る性能を示し、階層的クラスタリングおよびリtrievalタスクで優れた結果を得た。