[論文レビュー] Markov Chain Sampling for Non-linear State Space Models Using Embedded Hidden Markov Models

Radford M. Neal|ArXiv.org|May 1, 2003

Machine Learning and Algorithms参考文献 1被引用数 16

ひとこと要約

本稿では、非線形状態空間モデルにおける新しいマルコフ連鎖モンテカルロ法を提案する。この手法は、埋め込み型隠れマルコフモデル（HMM）を用いて、すべての隠れ状態を同時に効率的に更新する。各時刻で候補状態のプールを生成し、補助的HMM上で前向き後向き動的計画法を適用することで、特に状態同士の時間的依存性が強い場合に、1点更新のメトロポリス法よりも高速な混合性能を達成する。

ABSTRACT

I describe a new Markov chain method for sampling from the distribution of the state sequences in a non-linear state space model, given the observation sequence. This method updates all states in the sequence simultaneously using an embedded Hidden Markov model (HMM). An update begins with the creation of a ``pool'' of K states at each time, by applying some Markov chain update to the current state. These pools define an embedded HMM whose states are indexes within this pool. Using the forward-backward dynamic programming algorithm, we can then efficiently choose a state sequence at random with the appropriate probabilities from the exponentially large number of state sequences that pass through states in these pools. I show empirically that when states at nearby times are strongly dependent, embedded HMM sampling can perform better than Metropolis methods that update one state at a time.

研究の動機と目的

• 隣接する状態同士の依存性が強い非線形状態空間モデルにおいて、従来のマルコフ連鎖モンテカルロ法の混合が遅い問題に対処すること。
• 1つの状態を1回ずつ更新するのではなく、すべての隠れ状態を同時に効率的に更新できる手法を開発すること。
• HMMの前向き後向きアルゴリズムの計算効率を活用し、非線形かつ非ガウス型の状態空間モデルにおける複雑な後方分布からのサンプリングを可能にすること。
• 埋め込み型HMMによるサンプリングが、収束速度および混合品質の観点で、標準的な1点更新メトロポリス法を上回ることを示すこと。

提案手法

• 各時刻において、現在の状態から遷移確率（R_t）とその逆（R̃_t）を用いて、対称的な近傍を形成し、K個の候補状態のプールを生成する。
• 各時刻のプール内インデックスを状態とする埋め込み型HMMを定義し、元のモデルの遷移および観測密度から遷移確率を導出する。
• 前向き後向きアルゴリズムを用いて、プールを通過する各状態系列の後方確率を計算し、観測値を条件とする状態系列の条件付き分布からの正確なサンプリングを可能にする。
• プール分布ρ_tに関して可逆なマルコフ連鎖を用いて提案分布を構築することで、ターゲットの後方分布πに対する詳細釣合および不変性を保証する。
• 前向き後向き計算における重みの適切な保持を確保するため、プール内の重複する状態を別個のインデックスとして扱う。
• モデル尤度とプール分布の比を埋め込み型HMMにおける重みとして用いることで、系列の条件付き分布の効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 埋め込み型HMMによる同時状態更新は、非線形状態空間モデルにおけるマルコフ連鎖サンプリングの混合性能を顕著に向上させるか？
• RQ2 収束速度および混合効率の観点で、埋め込み型HMMサンプリングは1点更新メトロポリス法と比べてどのように異なるか？
• RQ3 プールサイズKおよびプール分布の選択（例：N(0,1) 対 データ依存型）が、サンプリング効率に与える影響は何か？
• RQ4 真の状態系列に強い時間的依存性と多峰性のある後方分布不確実性がある場合でも、この手法は有効に機能するか？

主な発見

• 強い時間的依存性を示す非線形状態空間モデルにおいて、埋め込み型HMMサンプリングは2回の更新で素早く収束し、真の状態に近い状態系列を生成した。
• 対照的に、1点更新メトロポリス法は100回以上反復を要してやっと正しい状態特性に近づき始めたが、依然として混合が悪く、自己相関が高かった。
• 999回のメトロポリス反復において、時刻200の状態は-1付近の領域に一度も到達しなかった。これは、後方分布の探索が不十分であることを示している。
• 埋め込み型HMM手法は、多峰性のある後方不確実性を的確に捉え、曇りの強い領域で+1および-1付近の状態を切り替えることができた。トレースプロットからもその様子が明確に示された。
• 1回の埋め込み型HMM更新で、30時刻の窓において状態が-1付近から+1付近へ大きくかつ意味のある変化を示した。これは、効果的なグローバル移動が可能であることを示している。
• Rにおける1反復あたりの速度は1点更新メトロポリスの約30倍遅いが、その分混合性能が優れており、全体のサンプリング効率は著しく向上した。