[論文レビュー] Variational approximations using Fisher divergence

Yue Yang, Ryan R. Martin+1 more|arXiv (Cornell University)|May 13, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用数 6

ひとこと要約

本稿では、真の事後分布と変分近似の間のフィッシャー発散を最小化することで、共役性や平均場仮定を必要とせず、効率的かつ正確な事後分布推定を可能にする、新しい変分ベイズ推論手法を提案する。この手法は反復加重最小二乗法（IRLS）を用い、ロジスティック回帰において従来のカルバック・ライブララーに基づく手法に比べ、収束が早く、モーメント推定が優れていることを示している。

ABSTRACT

Modern applications of Bayesian inference involve models that are sufficiently complex that the corresponding posterior distributions are intractable and must be approximated. The most common approximation is based on Markov chain Monte Carlo, but these can be expensive when the data set is large and/or the model is complex, so more efficient variational approximations have recently received considerable attention. The traditional variational methods, that seek to minimize the Kullback--Leibler divergence between the posterior and a relatively simple parametric family, provide accurate and efficient estimation of the posterior mean, but often does not capture other moments, and have limitations in terms of the models to which they can be applied. Here we propose the construction of variational approximations based on minimizing the Fisher divergence, and develop an efficient computational algorithm that can be applied to a wide range of models without conjugacy or potentially unrealistic mean-field assumptions. We demonstrate the superior performance of the proposed method for the benchmark case of logistic regression.

研究の動機と目的

• 従来のカルバック・ライブララー発散に基づく変分推論手法の限界を解消すること。これらの手法はしばしば高次モーメントを正しく捉えられず、制限的な仮定を必要とする。
• 正規化定数や共役性に依存しない、計算的に効率的な変分近似手法の開発。
• ロジスティック回帰のような複雑なモデルにおいて、フィッシャー発散最小化が既存手法を上回ることの実証。
• 正確性を維持しながら計算コストを低減する、実用的でスケーラブルなアルゴリズムの提供。

提案手法

• 真の事後分布と変分近似の間のフィッシャー発散を最小化する。これは、スコア関数の差のL2ノルムに近似密度で重み付けした形で定義される。
• 変分族の指数型分布族構造を活用することで、フィッシャー発散を最適化に適した形に簡略化する。
• 共役priorや平均場独立性仮定を必要としない、反復加重最小二乗法（IRLS）を用いた効率的最小化アルゴリズムを開発する。
• 更新式における扱いにくい期待値に対しては、変分分布の平均のまわりでの2次テイラー展開を用いて、事後モーメントを近似する。
• フィッシャー発散最小化から導かれる閉形式式を用いて、正規変分近似の精度行列と平均を更新する。
• ロジスティック回帰への応用において、パラメータの非線形関数の期待値を、二次形式のトレースに基づく近似により計算する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー発散の最小化は、カルバック・ライブララー発散の最小化よりも、ベイズ推論においてより正確な事後分布近似を可能にするか？
• RQ2 本手法は、共役性や平均場仮定を回避しつつも、計算効率を維持できるか？
• RQ3 フィッシャー発散に基づく近似は、事後モーメントや周辺尤度の下界推定において、どの程度の性能を示すか？
• RQ4 KLに基づく手法に比べ、フィッシャー発散アプローチは、事後モーメント推定の誤差制御を改善できるか？
• RQ5 高次元モデル、特にロジスティック回帰において、IRLSに基づくアルゴリズムの計算スケーラビリティはどの程度か？

主な発見

• 提案手法であるフィッシャー発散に基づく変分ベイズ推論は、特に事後分布の高次特徴を捉える点で、従来のカルバック・ライブララー発散最小化に比べ、顕著に優れた事後モーメント近似を達成する。
• ロジスティック回帰というベンチマークモデルにおいて、収束が早く、事後平均と分散の推定がKLに基づく手法を上回る精度を示す。
• アルゴリズムは計算的に効率的であり、マルコフ連鎖モンテカルロ法よりも桁違いに高速でありながら、高い事後分布近似精度を維持する。
• 扱いにくい期待値の2次テイラー近似の使用により、モンテカルロサンプルを用いずに実装可能となり、計算オーバーヘッドが低減される。
• 正規化定数や共役priorに依存しないため、標準的な変分ベイズ推論よりも広いクラスのモデルに適用可能である。
• 周辺尤度はフィッシャー発散に加法的定数として現れないが、他の発散測度との関連性から、モデル証拠の下界を導出する可能性が示唆される。