[論文レビュー] An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences

Zhe Feng, Jinglai Li|arXiv (Cornell University)|Aug 13, 2015

Markov Chains and Monte Carlo Methods参考文献 42被引用数 4

ひとこと要約

本稿では、次元に依存しない収束を達成するガウス・ミックスチャーモデルを用いた適応的独立サンプリングMCMCアルゴリズムを、無限次元ベイズ推論に適用する手法を提案する。混合成分をパラメータ化し、クラスタリングを用いてそれらを逐次更新することで、勾配情報が不要な状況下でも、多次元モードを持つ事後分布に対して頑健なサンプリングが可能となり、数値例において優れた混合性能と効率性を示した。

ABSTRACT

Many scientific and engineering problems require to perform Bayesian inferences in function spaces, in which the unknowns are of infinite dimension. In such problems, many standard Markov Chain Monte Carlo (MCMC) algorithms become arbitrary slow under the mesh refinement, which is referred to as being dimension dependent. In this work we develop an independence sampler based MCMC method for the infinite dimensional Bayesian inferences. We represent the proposal distribution as a mixture of a finite number of specially parametrized Gaussian measures. We show that under the chosen parametrization, the resulting MCMC algorithm is dimension independent. We also design an efficient adaptive algorithm to adjust the parameter values of the mixtures from the previous samples. Finally we provide numerical examples to demonstrate the efficiency and robustness of the proposed method, even for problems with multimodal posterior distributions.

研究の動機と目的

• メッシュの細分化に伴い標準的手法が次第に遅くなる無限次元ベイズ推論における次元に依存しないMCMCアルゴリズムの開発。
• 尤度関数の勾配情報が不要な独立サンプリング手法の設計により、ブラックボックス型の前向きモデルへの応用を可能にする。
• 多次元モードを持つ事後分布におけるサンプリング効率の向上。これは従来のMCMC手法が困難とする課題である。
• 提案分布のパラメータ化を用いて関数空間内での定義が保証され、アルゴリズムの整合性を維持すること。

提案手法

• 提案分布は、可分ヒルベルト空間内における有限個のパラメータ化されたガウス測度の混合として定式化される。
• 混合成分のパラメータ（平均および共分散）は、過去のサンプルを活用したクラスタリングに基づくアルゴリズムを用いて逐次的に更新される。
• パラメータ化により、関数空間内での定義が保証され、次元に依存しない収束性が達成される。
• 適応は500イテレーションごとに行われ、初期段階では収束を加速するための温度調整（tempering）が適用される。
• 詳細なバランスの確保と正しいターゲット分布からのサンプリングを保証するため、メトロポリス・ハスティングス補正が用いられる。
• 各適応ステップにおいて、サンプルのグループ化と最適な混合パラメータの推定にK-meansクラスタリング手順が用いられる。

実験結果

リサーチクエスチョン

• RQ1 無限次元ベイズ推論において、次元に依存しない独立サンプリングMCMCアルゴリズムを構築することは可能か？
• RQ2 尤度関数の勾配やヘッセ行列の情報が得られない状況下で、どのようにして提案分布を適応的に更新できるか？
• RQ3 関数空間内での多次元モードを持つ事後分布を、ガウス・ミックスチャーモデルが効果的に捉えることができるか？
• RQ4 単一のガウス分布と比較して、ガウス混合の使用がサンプリング効率および収束性に与える影響は何か？
• RQ5 より良い性能を得るため、混合の内部次元数をどのように特定または最適化できるか？

主な発見

• 提案された適応的独立サンプリング手法は、メッシュの細分化に伴って混合時間の劣化が生じないため、次元に依存しない収束性を達成した。
• 多次元モードを持つ事後分布において、K-meansクラスタリングによるサンプルのグループ化を介して、複数のモードを的確に特定した。
• すべてのテスト問題において、混合付きの適応的ISは、事前分布ベースのIS、単一ガウスIS、RW-pCNと比較して、受容率および有効サンプルサイズ（ESS）が一貫して高い水準を維持した。
• 熱フラックス逆問題において、混合付きの適応的ISは二つの明確なフラックスモードを正しく特定したが、他の手法はモードの分離に失敗した。
• 特に高次元かつ非ガウス的状況下において、トレースプロットの収束性、自己相関の減衰、およびESSの観点から、従来のMCMC手法を上回る性能を示した。
• パラメータの適応にクラスタリングを用いることで、明示的な勾配情報が不要な状況下でも、複雑な事後分布構造の効果的近似が可能となった。