[論文レビュー] Bayesian Nonparametric Higher Order Hidden Markov Models

Abhra Sarkar, David B. Dunson|arXiv (Cornell University)|May 30, 2018

Bayesian Methods and Mixture Models参考文献 6被引用数 5

ひとこと要約

本稿では、テンソル分解を用いたベイジアン非パラメトリックな高次隠れマルコフモデルを提案し、未知の隠れ状態数と遷移順序を柔軟に推定する。自動的なラグ選択が可能で、複雑な高次依存性を捉えることができ、シミュレーションおよび実世界の応用において、1次および高次依存性を持つ競合手法を著しく上回る性能を示す。

ABSTRACT

We consider the problem of flexible modeling of higher order hidden Markov models when the number of latent states and the nature of the serial dependence, including the true order, are unknown. We propose Bayesian nonparametric methodology based on tensor factorization techniques that can characterize any transition probability with a specified maximal order, allowing automated selection of the important lags and capturing higher order interactions among the lags. Theoretical results provide insights into identifiability of the emission distributions and asymptotic behavior of the posterior. We design efficient Markov chain Monte Carlo algorithms for posterior computation. In simulation experiments, the method vastly outperformed its first and higher order competitors not just in higher order settings, but, remarkably, also in first order cases. Practical utility is illustrated using real world applications.

研究の動機と目的

• 高次隠れマルコフモデルにおける未知の隠れ状態数と真の依存順序の両方の不確実性に対処すること。
• 事前に順序を指定せずに、関連するラグを適応的に選択できる柔軟な非パラメトリックフレームワークを構築すること。
• 遷移確率のテンソル表現を用いて、ラグ間の複雑な高次相互作用をモデリングすること。
• 発生分布の同定可能性を保証し、漸近的後方確率的一致性を確立すること。
• テンソル構造と非パラメトリック構造に適合した、スケーラブルな推論を可能にする特化したMCMCアルゴリズムによる効率的な後方計算を提供すること。

提案手法

• 高次遷移確率を低ランク分解として表現するためのテンソル分解を用い、柔軟かつスパarsimonious（省スペース的）なモデリングを実現する。
• 発生分布にベイジアン非パラメトリック事前分布（特にディリクレ過程混合）を適用し、未知で柔軟な状態固有の発生密度を許容する。
• 遷移確率配列にテンソル構造の事前分布を課し、事前に指定された最大順序までにわたる高次マルコフ的依存性を表現する。
• テンソル構造と非パラメトリック構造に適合した、ギブスサンプリングおよびメトロポリス・ハスティングス更新を用いた後方計算スキームを導出する。
• 計算の実行可能性を保ちつつモデルの柔軟性を損なわないように、テンソル分解の打ち切りスキームを導入する。
• ややきつい正則性仮定のもとで、後方確率の一貫性および発生分布の同定可能性に関する理論的条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックモデルは、固定順序を仮定せずに、高次隠れマルコフモデルにおける関連するラグを自動的に選択できるか？
• RQ2 テンソルベースの因子分解は、隠れ状態系列における過去の状態間の複雑な高次相互作用をどれほど正確に捉えることができるか？
• RQ3 提案手法は、予測精度とモデル適合度の観点で、1次HMMおよび固定高次HMMの両方を上回る性能を示すか？
• RQ4 後方分布の理論的性質、特に同定可能性と一貫性に関しては、どのような性質を有するか？
• RQ5 MCMC推論手順は、実世界の高次元時系列データに対して、どれほどスケーラブルで効率的か？

主な発見

• シミュレーション研究において、本手法は1次HMMおよび高次パラメトリックHMMを著しく上回った。特に1次データの設定下でも同様の優位性を示した。
• モデルは関連するラグのみを自動的に特定・保持し、過剰適合を防ぐ有効なモデル選択を実現した。
• テンソル因子分解により、従来のHMMが捉えきれない複雑な高次依存性を正確に表現できた。
• 理論的分析により、ややきつい正則性仮定のもとで、後方確率の一貫性および発生分布の同定可能性が確認された。
• 効率的なMCMCアルゴリズムにより、実世界の時系列データにおける実用的推論が可能となり、多様な応用分野で強く優れた経験的性能を示した。
• 特に真の順序が不明または誤って指定された状況においても、モデルの誤指定に対して強いロバストネスを示した。