[論文レビュー] The Sticky HDP-HMM: Bayesian Nonparametric Hidden Markov Models with Persistent States

Emily B. Fox, Erik B. Sudderth+2 more|arXiv (Cornell University)|May 15, 2009

Bayesian Methods and Mixture Models被引用数 70

ひとこと要約

本稿では、状態遷移における恒常性を導入することで、発話者ダイアライゼーションにおける過剰分割を低減するベイジアン非パラメトリックな隠れマルコフモデル、Sticky HDP-HMM を提案する。非パラメトリックな発生分布モデリングと、切断されたディリクレ過程近似による効率的なサンプリングを可能にする。標準的な NIST ベンチマークにおいて、最先端のダイアライゼーション性能を達成する。

ABSTRACT

We consider the problem of speaker diarization, the problem of segmenting an audio recording of a meeting into temporal segments corresponding to individual speakers. The problem is rendered particularly difficult by the fact that we are not allowed to assume knowledge of the number of people participating in the meeting. To address this problem, we take a Bayesian nonparametric approach to speaker diarization that builds on the hierarchical Dirichlet process hidden Markov model (HDP-HMM) of Teh et al. [J. Amer. Statist. Assoc. 101 (2006) 1566--1581]. Although the basic HDP-HMM tends to over-segment the audio data---creating redundant states and rapidly switching among them---we describe an augmented HDP-HMM that provides effective control over the switching rate. We also show that this augmentation makes it possible to treat emission distributions nonparametrically. To scale the resulting architecture to realistic diarization problems, we develop a sampling algorithm that employs a truncated approximation of the Dirichlet process to jointly resample the full state sequence, greatly improving mixing rates. Working with a benchmark NIST data set, we show that our Bayesian nonparametric architecture yields state-of-the-art speaker diarization results.

研究の動機と目的

• 会議における発話者数の事前知識なしに発話者ダイアライゼーションを解決すること。
• HDP-HMM がしばしば冗長な状態を生成し、迅速にそれらを切り替えるのを軽減すること。
• ベイジアン非パラメトリック枠組み内での発生分布の非パラメトリックモデリングを可能にすること。
• より高い混合レートを実現する効率的なサンプリングアルゴリズムにより、現実のダイアライゼーションタスクにスケーラブルなモデルを構築すること。
• ベンチマーク発話者ダイアライゼーションデータセットにおいて最先端の性能を達成すること。

提案手法

• 状態遷移行列に「スティッキー（粘着的）」な性質を追加し、状態の恒常性を促進することで、状態間の迅速な切り替えを低減する。
• ディリクレ過程の切断近似を用いて、全状態系列を同時に再サンプリングすることで、サンプリング効率と混合率を向上させる。
• 未知かつ無限大の状態数を許容できるように、状態遷移行列に階層的ディリクレ過程事前分布を適用する。
• 発生分布をディリクル過程事前分布を用いて非パラメトリックに扱い、発話者特徴の柔軟なモデリングを可能にする。
• 切断された近似を用いて、1ステップで全状態系列を再サンプリングするギブスサンプリング戦略を採用する。
• ディリクル過程のスティック・ブレイキング構成を活用し、非パラメトリックモデルにおける実行可能な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 状態の恒常性を強制することで、発話者ダイアライゼーションにおける過剰分割に対してより頑健なベイジアン非パラメトリック HMM を構築できるか？
• RQ2 ベイジアン非パラメトリック HMM フレームワーク内での発生分布を非パラメトリックにモデリングする方法は何か？
• RQ3 未知の状態数と高次元の観測値を持つ非パラメトリック HMM において、効率的なサンプリングが達成可能か？
• RQ4 提案された Sticky HDP-HMM は、標準的な発話者ダイアライゼーションベンチマークで既存手法を上回る性能を示すか？
• RQ5 状態の恒常性は、HDP-HMM の MCMC 推論における混合率と収束性にどのような影響を与えるか？

主な発見

• Sticky HDP-HMM は、スティッキーな遷移行列により、状態の持続性を促進することで、過剰分割を顕著に低減する。
• モデルは非パラメトリックな発生モデリングを可能にし、発話者特性の柔軟でデータ駆動型の表現を可能にする。
• 切断されたディリクル過程近似により、全状態系列の効率的かつ同時再サンプリングが実現され、混合速度の向上と収束性の向上が達成される。
• NIST SRE 2006 ベンチマークにおいて、提案モデルは最先端の発話者ダイアライゼーション性能を達成する。
• サンプリングアルゴリズムは、モデルの複雑さにもかかわらず、現実のダイアライゼーションタスクに効果的にスケーリングされ、高い正確性を維持する。
• 分割精度および未知発話者数に対する頑健性の観点から、標準的な HDP-HMM よりも、Sticky HDP-HMM が優れている。