[論文レビュー] A Geometric View of Posterior Approximation

Tian Chen, Jeffrey Streets+1 more|arXiv (Cornell University)|Oct 3, 2015

Gaussian Processes and Bayesian Inference参考文献 37被引用数 3

ひとこと要約

この論文は、アンビエント・フィッシャー幾何学から導出された距離尺度を用いて、ベイズ推論における事後分布近似の幾何的枠組みを導入し、従来の変分法に対する原理的でより優れた代替手法を提示する。事後分布近似を統計多様体上のリーマン最適化問題として扱うことで、標準的なKL発散度に基づく手法よりも、より正確でグローバルに一貫性のある近似が可能になる。

ABSTRACT

Although Bayesian methods are robust and principled, their application in practice could be limited since they typically rely on computationally intensive Markov Chain Monte Carlo algorithms for their implementation. One possible solution is to find a fast approximation of posterior distribution and use it for statistical inference. For commonly used approximation methods, such as Laplace and variational free energy, the objective is mainly defined in terms of computational convenience as opposed to a true distance measure between the target and approximating distributions. In this paper, we provide a geometric view of posterior approximation based on a valid distance measure derived from ambient Fisher geometry. Our proposed framework is easily generalizable and can inspire a new class of methods for approximate Bayesian inference.

研究の動機と目的

• 計算的に都合のよい発散度に依存する既存の事後分布近似手法の限界を是正すること。
• ベイズ推論における事後分布近似のための、原理的で幾何学的根拠を持つ枠組みを構築すること。
• フィッシャー情報に基づくリーマン幾何的構造に埋め込むことで、既存の変分法を一般化すること。
• アンビエント・フィッシャー幾何から導出された有効な距離尺度を最小化することで、より正確でグローバルに一貫性のある事後分布近似を可能にすること。

提案手法

• 本手法は、分布間の距離をフィッシャー情報計量を用いて測定する統計多様体上のリーマン最適化問題として、事後分布近似を定式化する。
• アンビエント・フィッシャー幾何から導出された有効な距離尺度を定義し、KL発散度のような恣意的な発散度の代わりに、幾何学的に一貫性のある代替手段を提供する。
• 近似密度のスコア関数から導かれる正規直交基底ベクトルを用いて、多様体上の特定の点における接空間をパラメータ化する。
• 基底ベクトルと真の事後分布の平方根との内積を用いて、多様体上での勾配に類似した更新を実行し、幾何学的整合性を保証する。
• パラメータ（例：平均と分散）の反復的更新を、真の事後分布の平方根との内積から導出される正規化された方向成分を用いて行う。
• 本枠組みは指数型分布族を超えて一般化可能であり、統計モデルの内在的幾何を活用することで、柔軟な近似族の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報から導出された幾何的距離尺度は、事後分布近似においてKL発散度の代替としてより原理的であると言えるか？
• RQ2 統計多様体の構造をどのように活用することで、事後分布近似のグローバルな精度を向上させられるか？
• RQ3 提案された幾何的枠組みは、平均場近似のような標準的な変分族を超えてどの程度一般化可能か？
• RQ4 リーマン最適化枠組みを用いた事後分布近似は、収束性および近似品質の観点でどのような意味を持つのか？

主な発見

• 提案された幾何的枠組みは、アンビエント・フィッシャー幾何から導出された有効なリーマン距離尺度を、事後分布と近似分布の間で提供し、従来の発散度よりも原理的である。
• 本手法は、スコア関数から導かれる正規直交基底ベクトルを用いて、統計多様体の接空間上で最適化することで、正確な事後分布近似を実現する。
• 既存の変分法を幾何的文脈に埋め込むことで、本枠組みは、局所的なモード一致を超えて、より優れたグローバル近似特性を実現する。
• 基底ベクトルと真の事後分布の平方根との内積の使用により、幾何学的整合性が保たれ、安定したパラメータ更新が可能になる。
• KL発散度最小化に内在する非対称性とバイアスを回避することで、高次元設定においても優れた近似品質が達成される。