[論文レビュー] A Linear-Time Particle Gibbs Sampler for Infinite Hidden Markov Models

Nilesh Tripuraneni, Shane Gu+2 more|arXiv (Cornell University)|May 3, 2015

Bayesian Methods and Mixture Models参考文献 10被引用数 3

ひとこと要約

本稿では、最適化された重要度提案と先祖サンプリングを用いた線形時間のパーティクルギブスサンプラーを、無限状態隠れマルコフモデル（iHMM）に提案する。この手法により、潜在状態軌跡の再サンプリングが効率的に行われ、収束が速く、時間計算量O(TNK)の線形時間複雑性を達成し、合成データおよび実世界のデータにおいて、二次時間複雑性を示す既存手法を上回る性能を発揮する。

ABSTRACT

Infinite Hidden Markov Models (iHMM's) are an attractive, nonparametric generalization of the classical Hidden Markov Model which can automatically infer the number of hidden states in the system. However, due to the infinite-dimensional nature of transition dynamics performing inference in the iHMM is difficult. In this paper, we present an infinite-state Particle Gibbs (PG) algorithm to resample state trajectories for the iHMM. The proposed algorithm uses an efficient proposal optimized for iHMMs and leverages ancestor sampling to suppress degeneracy of the standard PG algorithm. Our algorithm demonstrates significant convergence improvements on synthetic and real world data sets. Additionally, the infinite-state PG algorithm has linear-time complexity in the number of states in the sampler, while competing methods scale quadratically.

研究の動機と目的

• 高次元の遷移ダイナミクスによる無限状態隠れマルコフモデルにおける推論の非効率性という課題に対処すること。
• 既存のビームサンプリングおよびギブスサンプリング手法が示す二次時間複雑性を回避するスケーラブルなMCMC推論手法を開発すること。
• パーティクルベース手法と先祖サンプリングを活用することで、iHMMにおける混合性と収束速度を向上させること。
• 従来の研究では未解決であった、非パrametricな発生モデルを有するスティッキーiHMMにおける正確な推論を可能にすること。
• 活性状態数に応じて線形時間複雑性O(TNK)を達成することで、長時間系列へのスケーラビリティを実現すること。

提案手法

• 無限状態パーティクルギブス（PG）アルゴリズムを提案し、iHMMのための階層的ディリクレ過程（HDP）のスティックバーキング構成を用いる。
• 潜在状態軌跡の再サンプリングのための最適な重要度提案を設計し、サンプリング効率を向上させる。
• パーティクルの劣化を抑制するために先祖サンプリングを統合し、混合性と収束性を向上させる。
• 補助スライス変数を用いた動的計画法により、同時に軌跡を再サンプリングすることで、標準的なPGにおける悪い混合性を回避する。
• 共役事前分布と条件付き共役性を活用し、発生パラメータφ、遷移行列π、ハイパーパrameter α, γの効率的再サンプリングを可能にする。
• 無限状態空間の打ち切り表現を採用し、活性状態数Kに応じて動的に調整することで、O(TNK)の時間計算量を保証する。

実験結果

リサーチクエスチョン

• RQ1 活性状態数に線形時間複雑性を達成するiHMM向けのパーティクルギブスサンプラーを設計できるか？
• RQ2 最適化された重要度提案と先祖サンプリングの使用が、iHMM推論における混合性と収束性を顕著に改善するか？
• RQ3 提案手法が、従来の手法が失敗した非パrametricな発生モデルを有するスティッキーiHMMにおける正確な推論を可能にするか？
• RQ4 合成データおよび実世界のデータにおいて、提案手法のPGサンプラーはビームサンプリングおよび標準的なギブスサンプラーと比較して、収束速度とスケーラビリティで優れているか？
• RQ5 提案手法の計算量複雑度は何か？また、系列長および活性状態数の増加に対して、良好にスケーリングするか？

主な発見

• 提案された無限状態パーティクルギブスサンプラーは、O(TNK)の線形時間複雑度を達成し、ビームサンプリングなどの二次時間複雑度手法を上回る。
• 実験結果から、合成データおよび実世界のデータにおいて、競合する推論アルゴリズムと比較して収束性能が顕著に向上していることが示された。
• 最適化された重要度提案と先祖サンプリングの使用により、パーティクルの劣化が効果的に抑制され、混合性が向上し、事後分布の探索が改善された。
• 本手法により、非パrametricなDP発生モデルを有するスティッキーiHMMにおける正確な推論が可能となり、これは従来の研究では未解決であった問題であった。
• 実世界の会話ダイアライゼーションタスクにおいて、本手法は、切り捨てられ偏ったサンプリング手法を上回る最先端の性能を達成した。
• 長時間系列に対しても、線形時間設計のおかげで高い効率を維持し、強力なスケーラビリティを示した。