[論文レビュー] Inference for Trans-dimensional Bayesian Models with Diffusive Nested Sampling

Brendon J. Brewer|arXiv (Cornell University)|Nov 14, 2014

Bayesian Methods and Mixture Models参考文献 2被引用数 8

ひとこと要約

本稿では、多次元MCMCとネストドサブスクリプションを組み合わせることで、多重モード性、相転移、未知のモデル次元を有する複雑な事後分布を効率的に探索できる、トランス次元的ベイズ推論手法である拡散的ネストドサブスクリプション（DNS）を提案する。この手法により、異なる成分数における尤度の推定と事後分布推論が安定的に行える。実際の応用例として、ノイズの多い天体写真からの正弦波信号検出および銀河源抽出の両問題で成功裏に実装された。

ABSTRACT

Many inference problems involve inferring the number $N$ of components in some region, along with their properties $\{\mathbf{x}_i\}_{i=1}^N$, from a dataset $\mathcal{D}$. A common statistical example is finite mixture modelling. In the Bayesian framework, these problems are typically solved using one of the following two methods: i) by executing a Monte Carlo algorithm (such as Nested Sampling) once for each possible value of $N$, and calculating the marginal likelihood or evidence as a function of $N$; or ii) by doing a single run that allows the model dimension $N$ to change (such as Markov Chain Monte Carlo with birth/death moves), and obtaining the posterior for $N$ directly. In this paper we present a general approach to this problem that uses trans-dimensional MCMC embedded within a Nested Sampling algorithm, allowing us to explore the posterior distribution and calculate the marginal likelihood (summed over $N$) even if the problem contains a phase transition or other difficult features such as multimodality. We present two example problems, finding sinusoidal signals in noisy data, and finding and measuring galaxies in a noisy astronomical image. Both of the examples demonstrate phase transitions in the relationship between the likelihood and the cumulative prior mass, highlighting the need for Nested Sampling.

研究の動機と目的

• 有限混合モデルやノイズの多いデータにおける源検出のような、未知のトランス次元的成分数を有するモデルにおけるベイズ推論の課題を解決すること。
• 事後分布における多重モード性、強いパラメータ依存性、相転移に起因するMCMCの混合不良問題を克服すること。
• モデル次元$N$および成分パラメータの両方の事後分布と、周辺尤度（証拠）を同時に計算する統一的なフレームワークを提供すること。
• トランス次元的MCMCをネストドサブスクリプションフレームワーク内に組み込むことで、次元数が不明な高次元モデルにおける計算を効率化すること。

提案手法

• 本手法は、成分数$N$が変化するモデルを探索するためのトランス次元的MCMC移動（生成／消滅）を用い、これをネストドサブスクリプションアルゴリズム内に統合する。
• ネストドサブスクリプションは、尤度を$L \geq L_i$に段階的に制限する一連の制約付き事前分布からのサンプリングに用いられ、これによりモード間およびフェーズ間での混合が向上する。
• アルゴリズムは、パラメータ空間を進化する「ライブポイント」の集合を維持し、各反復で成分の追加または削除を提案することでモデルを更新する。
• 重要な最適化技術として、旧モデルと新モデルの差分をキャッシュし、再計算ではなくモック信号の修正によって尤度を効率的に更新する。
• 周辺尤度$\mathcal{Z}$は、各反復における尤度と事前体積の積の総和として推定され、安定した証拠推定が可能になる。
• 事後分布は、ネストドサブスクリプションプロセス中に生成された重み付きサンプルから、$N$および成分パラメータ$\mathbf{x}_i$の両方について推論される。

実験結果

リサーチクエスチョン

• RQ1 事後分布に相転移、多重モード性、強いパラメータ依存性が見られる場合、どのようにしてトランス次元的ベイズ推論を効率的に行えるか？
• RQ2 トランス次元的MCMCをネストドサブスクリプションに効果的に統合することで、次元数が不明な高次元問題における混合性と収束性が向上するか？
• RQ3 本手法は、成分数が未知の問題において、周辺尤度$\mathcal{Z}$および$N$の事後分布をどれほど正確に推定できるか？
• RQ4 ノイズの多いデータと微弱な源を伴う現実的な天体推論問題に適用した場合、計算コストはどのようにスケーリングするか？

主な発見

• 正弦波問題および銀河画像問題の両方で、相転移を効果的に処理した。特に、明るい成分のみにフィットする領域と、微弱な成分を含める領域との間で事後分布が遷移する現象を捉えた。
• 銀河画像問題では、周辺尤度を$\log(\mathcal{Z}) = -319707.6$ナツと推定し、事前分布から事後分布へのKullback-Leibler発散は550.2ナツであった。
• 真の銀河数は$N = 47$であり、ノイズやノイズフロア付近の微弱な源が存在するにもかかわらず、DNSは高い事後信頼性をもってこの値を正しく推定した。
• 再計算を避けてモック信号を再利用・更新する計算最適化により、両問題で約2倍の高速化が達成された。
• 標準的なトランス次元的MCMCに比べ、正弦波問題では数分、より複雑な銀河画像問題では約1日間の計算時間で収束と正確な推論が達成された（標準デスクトップコンピュータ上）。
• 特に幾何的・トポロジカルな困難（例：相転移領域）において、DNSは混合性と収束性の点で標準的MCMCを上回った。