[論文レビュー] Gaussian Approximations for Probability Measures on $\mathbf{R}^d$

Yulong Lu, Andrew M. Stuart+1 more|arXiv (Cornell University)|Nov 26, 2016

Markov Chains and Monte Carlo Methods参考文献 19被引用数 4

ひとこと要約

本稿では、ℝ^d 上の確率測度に対する最適なガウス型およびガウス混合近似の存在を、カルバック・ライバラー（KL）ダイバージェンスの最小化を用いて確立する。Γ収束を用いて、ベイズ逆問題における事後測度の漸近正規性を証明し、小さなノイズ／大量データの極限において、ガウス型（または混合型）への収束を示し、極限における共分散と残差不一致の明示的特徴付けを行う。

ABSTRACT

This paper concerns the approximation of probability measures on $\mathbf{R}^d$ with respect to the Kullback-Leibler divergence. Given an admissible target measure, we show the existence of the best approximation, with respect to this divergence, from certain sets of Gaussian measures and Gaussian mixtures. The asymptotic behavior of such best approximations is then studied in the small parameter limit where the measure concentrates; this asymptotic behaviour is characterized using $Γ$-convergence. The theory developed is then applied to understanding the frequentist consistency of Bayesian inverse problems. For a fixed realization of noise, we show the asymptotic normality of the posterior measure in the small noise limit. Taking into account the randomness of the noise, we prove a Bernstein-Von Mises type result for the posterior measure.

研究の動機と目的

• ℝ^d 上の一般確率測度をガウス型またはガウス混合族によってKLダイバージェンスを指標として用いて近似するための厳密な理論的枠組みを構築すること。
• 有限次元設定において、KL近似問題の最小化子の存在を確立すること。
• 目標測度が集中する小パrameter極限（例：小さなノイズまたは大量データの極限）におけるこれらの最良近似の漸近的挙動を分析すること。
• 頻度的整合性の観点からベイズ逆問題に理論を適用し、特にベルンシュタイン＝フォン・ミーゼス（BvM）現象の文脈で検討すること。
• 古典的BvM結果を拡張し、全変動距離ではなくKLダイバージェンスにおける収束を証明することに加え、極限共分散構造を特徴付けること。

提案手法

• 目標測度とガウス型またはガウス混合測度の族との間のKLダイバージェンスの最小化問題として、ガウス近似問題を変分法の枠組みで定式化する。
• 測度が小パrameter極限（例：μ_ε ∝ exp(−ε⁻¹V₁(x) − V₂(x)) における ε → 0）で集中する際の最小化子の漸近的挙動を、Γ収束を用いて研究する。
• 事後測度が μ_ε(dx) ∝ exp(−ε⁻¹V₁(x) − V₂(x))dx の形をとるベイズ逆問題にこの枠組みを適用する。ここで V₁ は負の対数尤度に関連する。
• KL汎関数の下方連続性と強収縮性を分析することで、最良近似ガウス型または混合測度の存在を証明する。
• KL汎関数のΓ極限を計算することで、極限ガウス型（または混合型）を特徴付ける。単峰型の場合は、極限で完全再構成が達成され、残差不一致がゼロとなることを示す。
• 正規化定数に関する精密な推定（補題5.6）を用いて、KLダイバージェンスにおける収束を制御し、古典的な全変動距離結果よりも強い収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意のℝ^d 上の確率測度に対して、KLダイバージェンスを指標として用いた最良ガウス型またはガウス混合近似が存在するか？
• RQ2 目標測度が集中する小パrameter極限（ノイズが小さい、またはデータ量が多い極限）において、最良近似ガウス型測度はどのように振る舞うか？
• RQ3 単峰型および多峰型の目標測度に対して、KL近似問題のΓ極限を明示的に特徴付けられるか？
• RQ4 KL近似枠組みは、有限次元のベイズ逆問題における古典的ベルンシュタイン＝フォン・ミーゼス定理をどの程度回復または精緻化できるか？
• RQ5 多峰型事後測度の状況において、事前分布は極限におけるガウス混合の重みにどのように影響を与えるか？

主な発見

• KLダイバージェンスを指標として用いた場合、わずかな正則性条件のもとで、任意の目標確率測度に対する最良ガウス型またはガウス混合族近似が存在する。
• 小さなノイズまたは大量データの極限において、ベイズ逆問題における事後測度はKLダイバージェンスにおいてガウス型に収束し、極限共分散行列は行列積 (DG)^T DG の逆行列として与えられる。
• 単峰型の目標測度に対しては、KL近似問題のΓ極限が、完全再構成を達成する単一のガウス型に収束し、残差不一致がゼロとなる。
• 多峰型の目標測度に対しては、最良ガウス混合近似がモードを捉え、極限におけるKL不一致は2つの相対エントロピーの和として明示的に特徴付けられる（定理4.2）。
• 事前分布は極限において消えない。その影響は、ガウス混合の重みに反映され、これは古典的BvM結果では捉えられていない新規な特徴である。
• 正規化定数と対数密度を分離する証明技法により、古典的なBvM証明が通常用いる全変動距離と連続性の議論に比べ、より強い収束（KL収束）を可能にする。