[論文レビュー] Unbiased estimation of log normalizing constants with applications to Bayesian cross-validation

Maxime Rischard, Pierre Jacob+1 more|arXiv (Cornell University)|Oct 2, 2018

Markov Chains and Monte Carlo Methods参考文献 8被引用数 14

ひとこと要約

本稿では、不変マルコフ連鎖モンテカルロ（MCMC）とパスサンプリング（熱力学的統合）を組み合わせることで、ベイズ推論における正規化定数の対数の新しい不偏推定量を提案する。この手法により、log Z の一貫性があり、漸近的に正規分布に従う推定が可能となり、対数スコアルール下でのベイズ的交差検証の不偏推定量が直接得られる。独立再試行により信頼区間の構築も可能である。

ABSTRACT

Posterior distributions often feature intractable normalizing constants, called marginal likelihoods or evidence, that are useful for model comparison via Bayes factors. This has motivated a number of methods for estimating ratios of normalizing constants in statistics. In computational physics the logarithm of these ratios correspond to free energy differences. Combining unbiased Markov chain Monte Carlo estimators with path sampling, also called thermodynamic integration, we propose new unbiased estimators of the logarithm of ratios of normalizing constants. As a by-product, we propose unbiased estimators of the Bayesian cross-validation criterion. The proposed estimators are consistent, asymptotically Normal and can easily benefit from parallel processing devices. Various examples are considered for illustration.

研究の動機と目的

• ベイズモデル比較における扱いにくい正規化定数（周辺尤度）の推定という課題に取り組む。
• 従来の推定量が log Z に対して漸近的に不偏であるのに対し、正確に不偏であるという制限を克服する。
• 対数スコアルール下でのベイズ的交差検証基準を直接不偏に推定する手法を開発する。
• 独立再試行により一貫性があり、漸近的に正規分布に従う推定を可能とし、有効な信頼区間を提供する。
• 不偏MCMCとパスサンプリングを組み合わせたフレームワークを提供し、統計的効率性と理論的保証を向上させる。

提案手法

• パスサンプリング（熱力学的統合）と不偏MCMC推定量を組み合わせ、log Z の不偏推定量を構築する。
• パスサンプリングの恒等式：r01 = −∫₀¹ Eλ[∇λUλ(X)] dλ を用いる。ここで Eλ は πλ の下での期待値を表す。
• 区間 [0,1] 上に提案密度 q(λ) を導入し、パス積分の再重み付けを可能とし、モンテカルロ近似を可能にする。
• カップリングに基づく不偏MCMCサンプラーを用いて、各 λ に対して Eλ[∇λUλ(X)] の不偏推定量を生成する。
• 不偏な内部推定量と適切な重み付けを組み合わせることで、パス積分の不偏推定量を構築する。
• 同じフレームワークを、対数スコアルール下でのベイズ的交差検証目的関数の推定に適用し、直接的な不偏性を保証する。

実験結果

リサーチクエスチョン

• RQ1 log Z に対して正確に不偏となる推定量を構築することは可能か？ これは漸近的に不偏であるものとは異なり、正確に不偏である。
• RQ2 パスサンプリングと不偏MCMCをどのように組み合わせることで、正規化定数の対数の不偏推定が達成できるか？
• RQ3 提案手法により、対数スコアルール下でのベイズ的交差検証の推定量が不偏となるか？
• RQ4 従来の手法と比較して、提案推定量の統計的効率性と収束挙動はいかがなものか？
• RQ5 パスの選択（例：幾何的パス vs 他のパス）や提案密度 q(λ) の選択が、推定量の性能にどのように影響するか？

主な発見

• 提案推定量は log Z に対して正確に不偏であり、期待値が log Z に等しい。これは、従来のMCMCベースの推定量が漸近的にしか不偏でないのとは対照的である。
• 本手法は、対数スコアルール下でのベイズ的交差検証基準の不偏推定量を生成でき、独立再試行による一貫性のある推定が可能となる。
• 推定量は漸近的に正規分布に従い、i.i.d. 再試行の中心極限定理を用いて正確な信頼区間を構築できる。
• スタックロスデータセットにおける数値実験では、10,000回の独立再試行に基づき、交差検証目的関数の95％信頼区間が [2.78, 2.82] であった。
• CV推定量の分散は、異なる除外観測値によって変動しており、LOO交差検証における既知の課題と整合的である。
• 本手法の性能は、パスの選択（例：幾何的パス）や提案密度 q(λ) の選択に敏感であり、異なるパス設計によっては性能が桁違いに変動する。