[論文レビュー] The Hierarchical Dirichlet Process Hidden Semi-Markov Model

Matthew Johnson, Alan S. Willsky|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 8被引用数 9

ひとこと要約

本稿では、階層的ディリクレ過程隠れ半マルコフモデル（HDP-HSMM）を紹介する。これは、厳密なマルコフ性の制約を緩和し、明示的な状態持続時間をモデル化できるベイジアン非パラメトリックなHMMの拡張である。半マルコフ構造と階層的ディリクレ過程の事前分布を組み合わせることで、柔軟かつ解釈可能な可変長状態のモデル化が可能となり、直接代入法および弱極限近似アルゴリズムを用いた効率的な事後分布推論が実現された。この手法は、合成データ、話者ダイアライゼーション、モールス符号パターン学習の各分野で検証された。

ABSTRACT

There is much interest in the Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) as a natural Bayesian nonparametric extension of the traditional HMM. However, in many settings the HDP-HMM's strict Markovian constraints are undesirable, particularly if we wish to learn or encode non-geometric state durations. We can extend the HDP-HMM to capture such structure by drawing upon explicit-duration semi-Markovianity, which has been developed in the parametric setting to allow construction of highly interpretable models that admit natural prior information on state durations. In this paper we introduce the explicitduration HDP-HSMM and develop posterior sampling algorithms for efficient inference in both the direct-assignment and weak-limit approximation settings. We demonstrate the utility of the model and our inference methods on synthetic data as well as experiments on a speaker diarization problem and an example of learning the patterns in Morse code.

研究の動機と目的

• HDP-HMMが厳密なマルコフ性の制約を持つため、非幾何的状態持続時間のモデル化に限界を示す問題を解決すること。
• 状態持続時間の事前分布に関する知識を組み込みつつ、明示的かつ柔軟に状態持続時間を扱えるベイジアン非パラメトリックモデルの開発。
• 直接代入法および弱極限近似スキームを用いて、HDP-HSMMにおける効率的な事後分布推論を可能にすること。
• スピーチやモールス符号などの複雑な時間的構造を示す現実世界の順序データに対して、モデルの有効性を実証すること。

提案手法

• HDP-HMMを拡張し、任意のデータ駆動型持続時間を許容する半マルコフ的状態持続時間モデルを導入。
• 状態持続時間分布に階層的ディリクレ過程の事前分布を適用することで、状態数およびその持続時間に関する非パラメトリック推論を可能に。
• 切断されたスティックバーキング過程を用いて状態持続時間を明示的にモデル化する直接代入推論アルゴリズムを開発。
• スティックバーキング過程の漸近的性質を活用することで、計算コストを低減する弱極限近似法を提案。
• ギブスサンプリングおよびスライスサンプリング技術を用いて、潜在状態系列および持続時間パラメータの事後分布推論を実行。
• 持続時間分布に対する共役事前分布を統合することで、解釈性とモデルの柔軟性を向上。

実験結果

リサーチクエスチョン

• RQ1 幾何的持続時間分布を仮定しないで、可変長状態持続時間を効果的に捉えることができるベイジアン非パラメトリックモデルは存在するか？
• RQ2 状態持続時間が明示的にモデル化され、非マルコフ的である場合に、HDP-HSMMはどのように効率的に推論可能か？
• RQ3 HDP-HSMMは、非幾何的状態持続時間を持つ順序データのモデル化において、HDP-HMMを上回る性能を示すか？
• RQ4 モデルは、スピーチやモールス符号などの現実世界のシーケンスから、解釈可能なデータ駆動型状態持続時間を学習できるか？
• RQ5 HDP-HSMMにおける直接代入法と弱極限近似法の間には、どのような計算上のトレードオフが存在するか？

主な発見

• HDP-HSMMは非幾何的状態持続時間を効果的にモデル化でき、可変長パターンを示す順序データのより正確な表現が可能となった。
• 直接代入推論アルゴリズムは、合成データ上での状態持続時間および遷移ダイナミクスの事後推定を高精度に実現した。
• 弱極限近似法は、計算コストを大幅に削減したにもかかわらず、直接代入法と同等の性能を達成した。
• 話者ダイアライゼーションのタスクでは、HDP-HSMMは話者の発話長をよりよく捉え、誤ったセグメンテーションを低減し、HDP-HMMを上回った。
• モールス符号の学習タスクでは、モデルはdit-dahパターンの背後にある構造を正しく同定し、既知のモールス符号要素と一致する解釈可能な状態持続時間を学習した。
• モデルはモデルの誤指定に対しても頑健であり、事前に状態数や持続時間分布を指定する必要なく、多様な順序データ構造に適応可能であった。