[論文レビュー] Accelerated First-order Methods on the Wasserstein Space for Bayesian Inference.

Chang Liu, Jingwei Zhuo+4 more|arXiv (Cornell University)|Jul 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 8

ひとこと要約

本稿では、2次 Wasserstein 空間 $\mathcal{P}_2$ 上での KL 散発の最小化を通じて、ベイズ推論のための高速化された一次順序法を提案する。Riemannian 構造を活用して、粒子更新による勾配フローのシミュレーションを実現する。この手法により、実装可能性を考慮したより精密な近似が可能となり、新規の加速技術とバンド幅選択法を用いることで収束速度が向上する。

ABSTRACT

We consider doing Bayesian inference by minimizing the KL divergence on the 2-Wasserstein space $\mathcal{P}_2$. By exploring the Riemannian structure of $\mathcal{P}_2$, we develop two inference methods by simulating the gradient flow on $\mathcal{P}_2$ via updating particles, and an acceleration method that speeds up all such particle-simulation-based inference methods. Moreover we analyze the approximation flexibility of such methods, and conceive a novel bandwidth selection method for the kernel that they use. We note that $\mathcal{P}_2$ is quite abstract and general so that our methods can make closer approximation, while it still has a rich structure that enables practical implementation. Experiments show the effectiveness of the two proposed methods and the improvement of convergence by the acceleration method.

研究の動機と目的

• 2次 Wasserstein 空間 $\mathcal{P}_2$ における KL 散発の最小化を通じて、効率的なベイズ推論手法の開発を目的とする。
• $\mathcal{P}_2$ の Riemannian 幾何構造を活用し、勾配フローの粒子ベースのシミュレーションを実現することを目的とする。
• 加速手法を導入することで、粒子シミュレーションに基づく推論手法の収束速度を向上させることを目的とする。
• 粒子近似に用いるカーネルのための新しいバンド幅選択法の設計を目的とする。

提案手法

• 2次 Wasserstein 空間 $\mathcal{P}_2$ 上の勾配フローのシミュレーションを、粒子更新を用いて後方分布の近似に活用する。
• $\mathcal{P}_2$ の Riemannian 構造を活用することで、安定的かつ幾何学的に意味のある更新を保証する。
• 粒子ベースの推論アルゴリズムの収束速度を向上させるための新規な加速手法を導入する。
• カーネルベースの粒子近似における柔軟性と精度を向上させるために、新規なバンド幅選択戦略を採用する。
• 確率測度の Riemannian 多様体に適応した一次順序最適化手法を用いる。
• 近似の柔軟性に関する理論的分析と、Wasserstein 空間上での実装を統合する。

実験結果

リサーチクエスチョン

• RQ1 2次 Wasserstein 空間における勾配フローは、ベイズ推論の文脈で粒子を用いてどのように効果的にシミュレートできるか？
• RQ2 $\mathcal{P}_2$ 上の粒子ベース推論を高速化するために、どのような加速技術を適用できるか？
• RQ3 粒子ベースの手法におけるカーネルのバンド幅の選択が、近似品質にどのように影響するか？
• RQ4 このフレームワークにおいて、近似の正確性と計算効率の理論的・実用的トレードオフは何か？
• RQ5 $\mathcal{P}_2$ の Riemannian 構造を活用して、安定的かつ効率的な推論アルゴリズムを設計できるか？

主な発見

• 提案手法は、$\mathcal{P}_2$ の豊かな幾何構造を活用することで、真の後方分布に近い近似を達成する。
• 加速手法により、Wasserstein 空間上の粒子シミュレーションに基づく推論の収束速度が顕著に向上する。
• 新規なバンド幅選択法により、カーネルベースの粒子近似の柔軟性と精度が向上する。
• 理論的分析により、近似品質と計算効率のバランスを取れることが確認される。
• 実験的結果により、提案された2つの推論手法の有効性および加速による収束改善の有効性が示される。