[論文レビュー] Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference

Luca Ambrogioni, Umut Güçlü+1 more|arXiv (Cornell University)|Nov 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 5

ひとこと要約

この論文は、半離散的最適輸送を用いてワッサーシュタイン発散を最小化する、Wasserstein Variational Gradient Descent (WVGD) を導入する。従来のKL発散ではなく、最適輸送マップを活用することで、カーネルベースの反発力に依存せずにモード崩壊を回避し、解釈可能な局所的粒子固有の変分近似を提供する。これにより、より正確な事後分布近似が可能となる。

ABSTRACT

Particle-based variational inference offers a flexible way of approximating complex posterior distributions with a set of particles. In this paper we introduce a new particle-based variational inference method based on the theory of semi-discrete optimal transport. Instead of minimizing the KL divergence between the posterior and the variational approximation, we minimize a semi-discrete optimal transport divergence. The solution of the resulting optimal transport problem provides both a particle approximation and a set of optimal transportation densities that map each particle to a segment of the posterior distribution. We approximate these transportation densities by minimizing the KL divergence between a truncated distribution and the optimal transport solution. The resulting algorithm can be interpreted as a form of ensemble variational inference where each particle is associated with a local variational approximation.

研究の動機と目的

• 従来の粒子ベースの変分推論手法の限界、特にSVG Dにおける粒子の反発に任意のカーネル関数に依存する問題を解決すること。
• 有限粒子数における粒子ベース推論のモード崩壊問題を、最適輸送理論を活用することで克服すること。
• 最適輸送マップを用いて各粒子に局所的変分近似を一貫して関連付ける原理的な手法を提供すること。
• 各粒子が事後分布の異なるモードや領域をモデル化できるアンサンブル変分推論を可能にすること。
• 従来のワッサーシュタインVIアプローチとは異なり、アモルタイズド推論に限定されず、事後分布に対する直接最適化が可能な手法を開発すること。

提案手法

• 粒子ベースの近似と真の事後分布の間の半離散的最適輸送発散を最小化する形で変分推論を定式化する。
• 最適輸送問題の解を用いて、各粒子を事後分布の連続的領域にマッピングする輸送密度を導出する。
• パラメトリック族（例：ガウス・ミックスチャネル）を用いて最適輸送マップを近似し、近似と真の輸送マップの間のKL発散を最小化する。
• ワッサーシュタイン勾配フローに基づく粒子ダイナミクス更新則を導出し、粒子位置と局所的変分パラメータの反復最適化を可能にする。
• 深層学習ライブラリと互換性のある確率的最適化フレームワークと粒子ダイナミクスを統合する。
• 得られた輸送密度を用いて各粒子ごとに局所的変分近似を構築し、アンサンブルVIの解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適輸送理論を用いて、人工的な反発力に依存しない粒子ベースの変分推論手法を構築できるか？
• RQ2 粒子と事後分布との間の最適輸送マップが、事後分布空間の自然で解釈可能な分割を提供できるか？
• RQ3 半離散的ワッサーシュタイン発散を最小化することで、有限粒子数の設定においてKL発散を最小化するのと比較して、より良い事後分布近似が得られるか？
• RQ4 従来のワッサーシュタインVIアプローチとは異なり、アモルタイズド推論なしにこの手法を適用できるか？
• RQ5 特に高次元設定において、WVGDの近似精度と収束性はSVG Dと比較してどのように異なるか？

主な発見

• 混合ガウス分布ベンチマークにおいて、WVGDはSVG Dで粒子数を3倍にした場合でさえも、二乗誤差の面で一貫して優れている。
• ベイジアンロジスティック回帰タスクにおいて、WVGDは5粒子で標準的VI（1粒子）を上回るELBOを達成しており、ボストンデータセットでは最大160、がんデータセットでは最大320の改善が得られている。
• この手法は、事後分布の複数のモードを的確に捉え、パラメータ空間が異なる粒子に対応する明確な領域に分割されることで実証されている。
• WVGDが学習する輸送密度は、ガウス過程の共分散関数における振動的・ノイズ的挙動といった意味的に意味のある解釈に対応している。
• WVGDの粒子ダイナミクスは、最適輸送に内在する説明の排除効果により、カーネルベースの反発力がなくても自然にモード崩壊を回避する。
• この手法はIris、ボストン、Diabetes、Cancerといった多様なデータセットで安定した性能を示し、粒子数の増加に伴いELBOが一貫して向上している。