[論文レビュー] Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution

Martin D. Weinberg|arXiv (Cornell University)|Nov 9, 2009

Bayesian Methods and Mixture Models参考文献 17被引用数 7

ひとこと要約

本稿では、MCMC事後分布サンプルから周辺尤度を計算するための、2つのロバストで数値的に安定したアルゴリズム—ネストド尤度近似（NLA）とボリューム加重近似（VTA）—を提案する。これらの手法は、調和平均近似の不安定性と、ラプラス近似の強い仮定を克服する。主な貢献は、事後分布の形状に制限を課さずに信頼性の高いベイズファクター推定を可能にすることであり、数値的実験により、既存手法を上回る優れた性能が確認されている。

ABSTRACT

Computation of the marginal likelihood from a simulated posterior distribution is central to Bayesian model selection but is computationally difficult. I argue that the marginal likelihood can be reliably computed from a posterior sample by careful attention to the numerics of the probability integral. Posing the expression for the marginal likelihood as a Lebesgue integral, we may convert the harmonic mean approximation from a sample statistic to a quadrature rule. As a quadrature, the harmonic mean approximation suffers from enormous truncation error as consequence . In addition, I demonstrate that the integral expression for the harmonic-mean approximation converges slowly at best for high-dimensional problems with uninformative prior distributions. These observations lead to two computationally-modest families of quadrature algorithms that use the full generality sample posterior but without the instability. The first algorithm automatically eliminates the part of the sample that contributes large truncation error. The second algorithm uses the posterior sample to assign probability to a partition of the sample space and performs the marginal likelihood integral directly. This eliminates convergence issues. The first algorithm is analogous to standard quadrature but can only be applied for convergent problems. The second is a hybrid of cubature: it uses the posterior to discover and tessellate the subset of that sample space was explored and uses quantiles to compute a representive field value. Neither algorithm makes strong assumptions about the shape of the posterior distribution and neither is sensitive outliers. [abridged]

研究の動機と目的

• MCMCサンプルからの周辺尤度推定における調和平均近似（HMA）の不安定性と不正確さを是正すること。
• 一般の事後分布に適用可能な範囲が限定される、ラプラス近似の強いパラメトリック仮定を克服すること。
• 多様なモデル、特に高次元および非楕円型事後分布に対しても適用可能な、数値的に安定した汎用アルゴリズムを、周辺尤度推定のために開発すること。
• 事後MCMCサンプルのみを用いて、ベイズモデル選択におけるベイズファクターを実用的かつ一貫して計算する方法を提供すること。
• 従来の手法が数値的不安定性のために失敗するような、複雑な現実世界の問題において、信頼性の高いモデル比較のフレームワークを提供すること。

提案手法

• 周辺尤度をレベーグ積分として定式化し、調和平均近似を、サンプル空間のカバー不足に起因する固有の切り捨て誤差を有する数値積分則（四角則）として再解釈する。
• ネストド尤度近似（NLA）を導入する。これは、MCMCサンプルを用いて二分空間分割（BSP）木、特にkdツリーを構築し、事後密度が顕著なパラメータ空間の部分集合Ωₛを特定し、その部分集合でのみ積分を実行することで、切り捨て誤差を低減する。
• ボリューム加重近似（VTA）を開発する。これは、MCMCサンプルに基づいてパラメータ空間をタイル状に分割し、セルごとに分位数を用いて確率を割り当て、体積加重フィールド値を直接用いて周辺尤度を計算するハイブリッド数値積分法である。
• 事後サンプルを用いてパラメータ空間のタイル分割を誘導することで、事後密度が高くなる領域が適切に表現され、サンプリングが疎な領域に起因するバイアスを低減する。
• 積分式（式13–16）における指示関数の段階関数近似を採用し、セルごとに低次の多項式フィッティングを施すことで、精度を向上させる可能性がある。
• NLAとVTAを併用することで、複雑または高次元の問題においても、周辺尤度推定の信頼性を高める一貫性のチェックとして推奨する。

実験結果

リサーチクエスチョン

• RQ1 調和平均近似を、制御可能な切り捨て誤差を持つ四角則として再解釈することで、安定化および改善が可能か？
• RQ2 事後分布の特定のパラメトリック形を仮定しないで、MCMCサンプルからの周辺尤度を信頼性高く推定する方法は何か？
• RQ3 MCMCサンプルの空間的カバー範囲は、周辺尤度推定の精度にどのような役割を果たすか？
• RQ4 適応的かつ非パラメトリックな数値積分技法は、高次元またはマルチモーダルな事後分布において、従来の手法（例：ラプラス近似）を上回る性能を示せるか？
• RQ5 提案されたアルゴリズム（NLAおよびVTA）は、異なるモデルの複雑さや事前分布の種類において、バイアス、分散、およびロバスト性の観点でどのように比較されるか？

主な発見

• 調和平均近似は、尤度が低くても事前確率が顕著なまれなサンプルに極めて敏感であり、これらが外れ値として作用し推定値を支配するため失敗する。
• NLAアルゴリズムは、MCMCサンプルのkdツリー分割を用いて、事後密度が顕著なパラメータ空間の部分集合Ωₛを特定し、その範囲に制限して積分することで、切り捨て誤差を低減する。
• VTAアルゴリズムは、事後分布から得たセル確率と代表的フィールド値を用いて、タイル状に分割されたパラメータ空間上で直接積分を実行し、HMAに見られる収束問題を解消する。
• 数値的実験の結果、HMAおよびラプラス近似の両方を上回るバイアスと分散の性能を、テスト問題全体で両アルゴリズムが示した。
• VTAは、切り捨て閾値h∗が不要で、内在的な安定性に加え、高次元空間でも一貫した性能を示すため、NLAよりも好ましい。
• 実用的な観点から、NLAとVTAを併用することで、複雑な問題や高次元問題においても周辺尤度推定の信頼性を確保する一貫性のチェックとして推奨される。