[論文レビュー] A reversible infinite HMM using normalised random measures

Konstantina Palla, David A. Knowles+1 more|arXiv (Cornell University)|Mar 17, 2014

Bayesian Methods and Mixture Models参考文献 13被引用数 5

ひとこと要約

本稿では、正規化されたランダム測度、特にガンマ過程を用いて、可逆的マルコフ連鎖に対する非パrametricな事前分布を提案する。これにより、詳細つり合いを保証する可算無限で対称な遷移行列が構築され、物理的・生物学的系における時間反転対称性を反映する。この手法により、可逆的無限HMMにおける効率的なMCMC推論が可能となり、エピゲノムおよびイオンチャネルデータセットにおいて、非可逆的および標準的なiHMMモデルを上回る性能を発揮する。

ABSTRACT

We present a nonparametric prior over reversible Markov chains. We use completely random measures, specifically gamma processes, to construct a countably infinite graph with weighted edges. By enforcing symmetry to make the edges undirected we define a prior over random walks on graphs that results in a reversible Markov chain. The resulting prior over infinite transition matrices is closely related to the hierarchical Dirichlet process but enforces reversibility. A reinforcement scheme has recently been proposed with similar properties, but the de Finetti measure is not well characterised. We take the alternative approach of explicitly constructing the mixing measure, which allows more straightforward and efficient inference at the cost of no longer having a closed form predictive distribution. We use our process to construct a reversible infinite HMM which we apply to two real datasets, one from epigenomics and one ion channel recording.

研究の動機と目的

• 物理的・生物学的系における時間反転対称性を反映する、可逆的マルコフ連鎖に対する非パラメトリック事前分布の構築。
• 詳細つり合いを明示的に強制する無限遷移行列に対する事前分布の構築。これにより、漸近的またはヒューリスティックな強化手法に依存せずに可逆性が保証される。
• 既存モデルにおける閉形式の予測分布の限界を克服し、可逆的無限HMMにおける効率的なベイズ推論（MCMC）を可能にする。
• イオンチャネル記録やエピゲノムデータなど、既知の物理的制約として時間反転対称性が成立する実世界のデータセットにおけるモデルの妥当性を検証する。
• 可逆性を事前制約として組み込むことで、予測性能およびモデルのキャリブレーションが向上することを示す。

提案手法

• ガンマ過程を用いて、無向グラフ上に可算無限の状態とエッジ重みを生成し、遷移確率の対称性を保証する。
• エッジ重みを正規化することで、詳細つり合いを満たす可逆的遷移行列を構築する。
• 基本測度としてライプニッツ測度を用い、ガンマ過程のレヴィ測度をべき則的強度で定義することで、無限のサポートを保証する階層的構成を採用する。
• 得られた事前分布を、連続的および離散的データの状態依存観測モデルを備えた隠れマルコフモデル（HMM）に適用する。
• 潜在状態およびパrameterの更新にGibbsサンプリングとHMCまたはNUTSを組み合わせ、事後分布の効率的探索を実現する。
• デ・フィネッティ表現を用いてプロセスの交換可能性を特徴づけ、遷移行列に対する交換可能性を有する事前分布の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 正規化されたランダム測度を用いて、可算無限で可逆的なマルコフ連鎖に対する非パラメトリック事前分布を明示的に構築可能か？
• RQ2 事前分布に可逆性を強制することで、時間反転対称性が既知の実データセットにおける予測性能が向上するか？
• RQ3 既存の非パラメトリックHMM（例：iHMMやエッジ強化ランダムウォーク）と比較して、推論効率およびモデル適合度において本手法は優れているか？
• RQ4 本モデルは、イオンチャネル記録のような複雑で高周波数の生物学的時系列データに効果的に適用可能か？
• RQ5 HMCまたはNUTSの使用が、可逆的HMMフレームワークにおける事後分布推論に与える影響は何か？

主な発見

• 可逆的SHGP-HMMは、非可逆的HGP-HMMに比べてテスト尤度（2.034 対 1.970）とテスト誤差（0.030 対 0.033）で顕著に優れており、有意差は僅か（p=0.08）であるが、差はわずかに有意である。
• HMCを用いた場合のテスト尤度は2.034 ± 0.058、NUTSを用いた場合のテスト尤度は2.030 ± 0.062であり、イオンチャネルデータにおける高い予測キャリブレーションを示している。
• ビームサンプリングを用いたiHMMは、トレーニング誤差（0.038 対 0.023）およびテスト誤差（0.038 対 0.023）と尤度（2.008 対 2.034）において、可逆的HGP-HMMに劣っており、明示的な可逆性の利点が示されている。
• イオンチャネルデータセットでは通常5〜7状態が選択され、最も頻度の高い遷移は低電流状態間で発生しており、生物学的期待と整合的である。
• 欠損領域（グレー領域）における予測分散が真の信号をカバーしており、状態および観測分布の不確実性を適切に反映していることから、モデルのキャリブレーションが良好であることが確認された。
• HMCまたはNUTSの使用により性能が顕著に変化しないことから、MCMCサンプリング手法の選択に対してモデルが頑健であることが示された。