[論文レビュー] Parallel tempering as a mechanism for facilitating inference in hierarchical hidden Markov models

Giada Sacchi, Ben Swallow|arXiv (Cornell University)|Nov 19, 2020

Bayesian Methods and Mixture Models参考文献 37被引用数 9

ひとこと要約

本稿では、階層的隠れマルコフモデル（HHMM）におけるベイズ推論の計算的改善策として、並列温度法を提案している。高次元かつ相関の強いパラメータ空間において、MCMCの混合性と収束性が向上する。実証的に、並列温度法はサンプリング効率と多次元モードの探索を顕著に向上させるが、その有効性は温度スケジュールおよび提案分布の細かなチューニングに強く依存することが示された。

ABSTRACT

The study of animal behavioural states inferred through hidden Markov models and similar state switching models has seen a significant increase in popularity in recent years. The ability to account for varying levels of behavioural scale has become possible through hierarchical hidden Markov models, but additional levels lead to higher complexity and increased correlation between model components. Maximum likelihood approaches to inference using the EM algorithm and direct optimisation of likelihoods are more frequently used, with Bayesian approaches being less favoured due to computational demands. Given these demands, it is vital that efficient estimation algorithms are developed when Bayesian methods are preferred. We study the use of various approaches to improve convergence times and mixing in Markov chain Monte Carlo methods applied to hierarchical hidden Markov models, including parallel tempering as an inference facilitation mechanism. The method shows promise for analysing complex stochastic models with high levels of correlation between components, but our results show that it requires careful tuning in order to maximise that potential.

研究の動機と目的

• 高次元性と強いパラメータ相関のため、階層的HMMにおけるベイズ推論に生じる計算的課題に対処すること。
• 動物の移動データに対する複雑なHHMMにおいて、並列温度法がMCMCの収束性と混合性を向上させるかを評価すること。
• 先行研究における頻度主義の最尤推定と比較し、同一の階層的モデル構造において、ベイズMCMC推定の正確性と頑健性を評価すること。
• 特に温度スケジュールおよび提案分布設計のチューニング戦略が、並列温度法の性能を最大化する役割を果たすかを調査すること。
• 収束性の評価を目的として、過分散の初期値から出発する複数のチェーンや、全パラメータセットへの並列温度法の適用可能性を検討すること。

提案手法

• 港ゾウショウの潜水行動データに対する階層的HMMのパラメータ推定に、メトロポリス・ハスティングスMCMCアルゴリズムを用いたベイズフレームワークを採用した。
• シングルサイト更新とブロック更新のMCMCサンプラーを実装し、ブロックサンプリングでは多変量正規分布の提案を用いて混合性を向上させた。
• 温度を段階的に上昇させた後方分布の系列を導入することで、並列温度法を実装し、チェーン間の交換を可能にした。
• 移動確率および他のパラメータの遷移に、適応的チューニングを施したランダムウォークメトロポリス・ハスティングスアルゴリズムを用いた。
• 異なるパラメータ更新スキームにおける、標準MCMCと並列温度法の結果を比較し、収束性と正確性を評価した。
• 過分散の初期値から複数のチェーンを初期化し、有効サンプルサイズおよび潜在的スケール減少量を用いて収束性を評価した。

実験結果

リサーチクエスチョン

• RQ1 高パラメータ相関および多次元モードを示す後方分布を有する階層的HMMにおいて、並列温度法がMCMCの混合性と収束性を顕著に向上させられるか。
• RQ2 HHMMにおける移動確率および状態依存分布の推定において、並列温度法の性能は標準MCMCに比べてどのように異なるか。
• RQ3 温度スケジュールおよび提案分布のチューニングが、HHMMにおけるベイズ推論の効率性と正確性に与える影響は何か。
• RQ4 同一の階層的モデル構造において、ベイズMCMC推定値は頻度主義の最尤推定値とどの程度一致するか。
• RQ5 全パラメータセットまたは一部のパラメータにのみ並列温度法を適用することは可能で、かつ有益であるか。その場合、サンプリング効率にどのような影響を与えるか。

主な発見

• 並列温度法は、階層的HMMに共通する多次元モードや強い相関を持つパラメータ空間において、後方分布の探索を顕著に向上させた。
• 2番目のMCMCアルゴリズム（移動確率および定常分布の段階的収束を特徴とする）は、固定近似を用いた最初のアルゴリズムよりも、頻度主義およびベイズのベンチマークに近い推定値を生成した。
• 点推定値が類似していたとしても、並列温度法は混合性を向上させ、自己相関を低減し、有効サンプルサイズを増加させ、より信頼性の高い後方推論を可能にした。
• この手法の性能はチューニングに極めて敏感であり、最適な結果を得るためには、温度スケジュールおよび提案分布の慎重な選定が不可欠であった。
• 過分散の初期値から複数のチェーンを走らせ、並列温度法を併用することで、収束診断およびチェーンの混合性が向上した。
• ベイズ推論は頻度主義手法よりも計算コストが高かったが、多次元モードの扱いや生物学的知識の事前分布への組み込みという利点を有していた。