[論文レビュー] Tractable Fully Bayesian Inference via Convex Optimization and Optimal Transport Theory

Sanggyun Kim, Diego Mesa+2 more|arXiv (Cornell University)|Sep 29, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用数 4

ひとこと要約

この論文は、凸最適化と最適輸送理論を用いた扱いやすいフレームワークを提案し、事前分布と尤度関数が両方とも対数凹型である場合に、事後分布からの効率的なサンプリングとベイズリスクの計算を可能にする。主な貢献は、対数凹型—以前はMAP推定に十分であったが—が、最適輸送マップを介して正規化定数の計算とi.i.d.事後サンプルの生成を扱いやすくすることを保証することにある。

ABSTRACT

We consider the problem of transforming samples from one continuous source distribution into samples from another target distribution. We demonstrate with optimal transport theory that when the source distribution can be easily sampled from and the target distribution is log-concave, this can be tractably solved with convex optimization. We show that a special case of this, when the source is the prior and the target is the posterior, is Bayesian inference. Here, we can tractably calculate the normalization constant and draw posterior i.i.d. samples. Remarkably, our Bayesian tractability criterion is simply log concavity of the prior and likelihood: the same criterion for tractable calculation of the maximum a posteriori point estimate. With simulated data, we demonstrate how we can attain the Bayes risk in simulations. With physiologic data, we demonstrate improvements over point estimation in intensive care unit outcome prediction and electroencephalography-based sleep staging.

研究の動機と目的

• 高次元設定における完全ベイズ推定の計算非効率性、特に正規化定数βyの非効率性に対処する。
• MCMCや変分ベイズ推定の限界を克服し、完全事後分布からの正確で扱いやすいサンプリングを可能にする。
• モンテカルロ近似や収束問題を回避する、一般化された不確実性評価フレームワークをベイズ推定に開発する。
• MAP推定を可能にするのと同じ対数凹型条件が、最適輸送を介して完全ベイズ推定の扱いやすさを保証することを示す。
• 条件付き期待値や後方情報利得、相互情報量などの情報理論的測度を計算することで、実用的なベイズ意思決定を可能にする。

提案手法

• 最適輸送マップを用いて、事前分布からのサンプルを事後分布に変換する形でベイズ推定を定式化する。
• 事前分布と事後分布のKullback-Leibler発散を最小化する最適輸送マップを計算するために凸最適化を用いる。
• 事後分布の対数凹型性を活用し、得られる最適化問題が凸的かつ扱いやすくなることを保証する。
• 単調かつ微分可能な変換のパラメトリック族（例：正規化フロー）を用いて輸送マップを構築し、対数凹型構造を維持する。
• 学習された輸送マップを用いて、MCMCや重要度サンプリングを用いずにi.i.d.事後サンプルを生成する。
• 変換されたサンプルを用いてベイズ意思決定ルール（例：ベイズリスク）および情報理論的量（例：相互情報量）を計算する。

実験結果

リサーチクエスチョン

• RQ1 事後分布が対数凹型である場合に、凸最適化を用いて完全ベイズ推定を扱いやすくできるか？
• RQ2 MAP推定の扱いやすさを保証する同じ対数凹型条件が、事後分布のサンプリングと正規化定数の計算の扱いやすさを保証するか？
• RQ3 最適輸送マップを用いて、事前サンプルをi.i.d.事後サンプルに変換し、分布の正確性を保てるか？
• RQ4 分類や予後予測などの意思決定タスクにおいて、点推定よりも完全事後期待値を用いることでどの程度のパフォーマンス向上が得られるか？
• RQ5 予測精度と計算効率の観点から、提案手法は標準的なMAP推定やMCMCと比較してどの程度優れているか？

主な発見

• 提案手法により、対数凹型事後分布に対して、凸最適化を用いて正規化定数βyの正確かつ扱いやすい計算が可能になった。
• MAP推定の扱いやすさを保証する同じ対数凹型条件が、最適輸送を介した完全ベイズ推定の扱いやすさを保証する。
• MCMCを用いずにi.i.d.事後サンプルが生成可能であり、バーンインや収束の問題を回避できる。
• ICU予後予測のタスクにおいて、完全事後期待値に基づくベイズ意思決定ルールは、MAPに基づく意思決定ルールよりも顕著に高いAUCを達成した。
• フレームワークにより、後方情報利得や相互情報量の正確な計算が可能となり、逐次実験設計やグラフィカルモデル構築が可能になった。
• このアプローチは一般性があり、ベイズ推定に限らず、データ圧縮やメッセージスイーピングシステムへの応用が期待できる。