[論文レビュー] Target Density Normalization for Markov Chain Monte Carlo Algorithms

A. Caldwell, Chang Liu|arXiv (Cornell University)|Oct 27, 2014

Statistical Methods and Inference参考文献 10被引用数 5

ひとこと要約

本稿では、MCMCアルゴリズムの後処理手法を提案し、標的密度の正規化積分を、MCMCで推定されたモードを中心とする縮小されたサポート領域に統合を制限することで推定する。この領域においてMCMCサンプルの一部を用いて算術平均推定を適用することで、複雑で高次元な状況において、ハーモニック平均法やラプラース法よりも優れた精度と信頼性のある不確実性推定が得られる。

ABSTRACT

Techniques for evaluating the normalization integral of the target density for Markov Chain Monte Carlo algorithms are described and tested numerically. It is assumed that the Markov Chain algorithm has converged to the target distribution and produced a set of samples from the density. These are used to evaluate sample mean, harmonic mean and Laplace algorithms for the calculation of the integral of the target density. A clear preference for the sample mean algorithm applied to a reduced support region is found, and guidelines are given for implementation.

研究の動機と目的

• 高次元空間における標的密度の正規化積分を計算する課題に対処すること。標準的手法が機能しない状況を想定。
• サンプリングプロセスを変更せずに、MCMC後処理として、証拠（周辺尤度）を推定する手法を提供すること。
• ハーモニック平均法やラプラース近似といった既存手法と比較して、正規化積分推定の信頼性と精度を向上させること。
• MCMC出力を用いて縮小された統合領域を定義し、スケーリングによって全積分を推定する、実装可能な実用的手法を提供すること。

提案手法

• MCMCサンプルを用いて、標的密度のグローバルモードおよび周辺標準偏差を推定する。
• 各次元における標準偏差に比例する長さを持つ、モードを中心とするハイパーキューブを定義する。スケーリング係数Δを用いる。
• この縮小領域内に含まれるMCMCサンプルの割合（r̂）を推定し、相対的体積質量を近似する。
• 縮小領域における標的密度の積分を算術平均推定（AME）を用いて計算する。
• 全サポート領域における正規化積分を推定するために、縮小領域の積分を1/r̂でスケーリングする。
• 比較のベンチマークとして、収束後MCMCサンプルを用いてハーモニック平均推定（HME）とラプラース近似を実行する。

実験結果

リサーチクエスチョン

• RQ1 MCMCサンプルとその経験的統計量のみを用いて、MCMC後処理手法が標的密度の正規化積分を信頼性高く推定できるか？
• RQ2 モードを中心とする縮小されたサポート領域に統合を制限することで、正規化積分推定の精度と不確実性にどのような影響を与えるか？
• RQ3 算術平均、ハーモニック平均、ラプラース推定器が縮小領域に適用された場合、性能にどのような差が生じるか？
• RQ4 算術平均法による推定不確実性は、正規化積分の真の誤差を信頼性高く反映できるか？
• RQ5 精度と計算コストのバランスを考慮した場合、正規化積分領域の最適なサイズ（Δの観点から）は何か？

主な発見

• MCMCで推定されたモードを中心とする縮小されたハイパーキューブ上で算術平均推定を適用することで、正規化積分の推定が高精度かつ信頼性があり、不確実性が適切にキャリブレーションされる。
• ハーモニック平均推定器は、高次元または非正規分布の標的密度では著しく性能が劣り、大きなバイアスと信頼性の低い不確実性推定を生じる。50次元のシェル例では、23.251の分数誤差が観察された。
• ラプラース近似は、標的密度が近似的に正規分布に近い場合にのみ有効であり、多次元モードや歪度のある分布では失敗する。
• 約50%のMCMCサンプルが領域内に含まれるよう領域サイズを設定（r̂ = 0.5）することで、テストケース全体でほぼ最適な性能が得られる。
• 100万個のMCMCサンプルを用いた10次元シェル例では、算術平均推定器が0.005の分数誤差と0.004の分数不確実性を達成し、高い精度を示した。
• 本手法は次元数や標的形状にかかわらず頑健であり、高次元正規分布やシェル分布に対しても適用可能であり、ベイズ推論における証拠推定の実用的で汎用的なソリューションを提供する。