[論文レビュー] Computing the quality of the Laplace approximation

Guillaume Dehaene|arXiv (Cornell University)|Nov 24, 2017

Geometric Analysis and Curvature Flows参考文献 2被引用数 7

ひとこと要約

この論文は、変数変換とモーメントに基づく不等式を用いて導出された、対数凹型事後密度とそのラプラース近似との間のKullback-Leibler（KL）ダイバージェンスの計算可能な上界を提示する。この上界は、モードにおける対数密度の3階微分にのみ依存し、高次元のロジスティック回帰においてほぼ正確であることが示され、モンテカルロ推定に依存せずにラプラース近似の品質を評価する実用的なツールを提供する。

ABSTRACT

Bayesian inference requires approximation methods to become computable, but for most of them it is impossible to quantify how close the approximation is to the true posterior. In this work, we present a theorem upper-bounding the KL divergence between a log-concave target density $f\left(\boldsymbolθ ight)$ and its Laplace approximation $g\left(\boldsymbolθ ight)$. The bound we present is computable: on the classical logistic regression model, we find our bound to be almost exact as long as the dimensionality of the parameter space is high. The approach we followed in this work can be extended to other Gaussian approximations, as we will do in an extended version of this work, to be submitted to the Annals of Statistics. It will then become a critical tool for characterizing whether, for a given problem, a given Gaussian approximation is suitable, or whether a more precise alternative method should be used instead.

研究の動機と目的

• 対数凹型のターゲット密度とそのラプラース近似との間のKLダイバージェンスに対する、計算可能で漸近的でない上界を提供すること。
• 漸近的理論に依存せずに、与えられたベイズモデルにおいてラプラース近似が十分に正確かどうかを評価するための実用的基準を提示すること。
• 従来のベルンシュタイン＝フォン・ミーゼスの定理の限界を克服すること。これらの定理は定性的であり、計算不能な項を含む。
• モデル化者がラプラース近似よりもより正確な手法をいつ使用すべきかを判断できるようにすること。
• ガウス近似の適用範囲を広げ、観測可能で計算可能な数量としてその誤差を定量化すること。

提案手法

• 対数凹性の下で、球面座標への変数変換を用いて、決定論的であるベルンシュタイン＝フォン・ミーゼス型定理を導出する。
• モーメント不等式と対数ソボレフ不等式を適用し、対数密度の3階微分テンソルを用いてKLダイバージェンスを評価する。
• モードにおける対数尤度の3階微分を、逆ヘッセ行列でスケーリングした形で上界を表現する。
• モードの周囲でパrameter空間を再パラメータライズする変換を用い、ラプラース近似下でのモーメント計算を可能にする。
• ロジスティック回帰モデルにおける上界の妥当性を検証するため、真のKLダイバージェンスをマルコフ連鎖モンテカルロ（MCMC）サンプリングにより近似する。
• 上界を、最大事後確率推定（MAP）推定値におけるヘッセ行列と3階微分のみを用いて計算する。

実験結果

リサーチクエスチョン

• RQ1 漸近的仮定に依存せずに、対数凹型事後分布とそのラプラース近似との間のKLダイバージェンスに対する計算可能な上界を導出できるか？
• RQ2 特にロジスティック回帰のような高次元モデルにおいて、この上界は実際どれほどきついのか？
• RQ3 モードにおける対数密度の3階微分は、ラプラース近似の品質をどの程度正確に予測できるか？
• RQ4 この上界は、より正確な近似手法の使用を決定するための実用的診断ツールとして機能できるか？
• RQ5 事後分布が強く対数凹型でないが、対数凹型である限り、この上界は依然として正確に保たれるか？

主な発見

• 提案されたKLダイバージェンスの上界は、MAP推定値におけるヘッセ行列と3階微分のみを用いて計算可能である。
• 高次元のロジスティック回帰において、上界は真のKLダイバージェンスとほとんど一致し、わずかな差異しか生じない。
• 上界は、逆ヘッセ行列でスケーリングされた対数密度の3階微分に支配され、パrameter空間の次元に依存する。
• 事後分布が強く対数凹型でない場合でも、対数凹型であれば上界は依然としてきついまま保たれる。
• モンテカルロ推定に依存せずに、ラプラース近似の品質を非漸近的に実用的に評価できる。
• 真のKLダイバージェンスのMCMC近似を用いた検証により、高次元設定において強い一致が確認された。