[論文レビュー] Understanding and Accelerating Particle-Based Variational Inference

Chang Liu, Jingwei Zhuo+4 more|arXiv (Cornell University)|Jul 4, 2018

Neural Networks and Applications被引用数 43

ひとこと要約

この論文は、パーティクルベースの変分推論（ParVI）に対する Wasserstein-幾何学の視点を提供し、スムージングを統一的なメカニズムとして示し、収束とサンプル精度を改善する加速フレームワークと原理的な帯域選択を導入する。

ABSTRACT

Particle-based variational inference methods (ParVIs) have gained attention in the Bayesian inference literature, for their capacity to yield flexible and accurate approximations. We explore ParVIs from the perspective of Wasserstein gradient flows, and make both theoretical and practical contributions. We unify various finite-particle approximations that existing ParVIs use, and recognize that the approximation is essentially a compulsory smoothing treatment, in either of two equivalent forms. This novel understanding reveals the assumptions and relations of existing ParVIs, and also inspires new ParVIs. We propose an acceleration framework and a principled bandwidth-selection method for general ParVIs; these are based on the developed theory and leverage the geometry of the Wasserstein space. Experimental results show the improved convergence by the acceleration framework and enhanced sample accuracy by the bandwidth-selection method.

研究の動機と目的

• Wasserstein空間フレームワークの下で、ParVIに用いられる有限パーティクル近似を統一・分析する。
• ParVI の基になるスムージングの性質（密度のスムージングまたは関数のスムージング）を明らかにし、それらの等価性を確立する。
• Wasserstein空間のリーマン幾何を利用してParVIの収束を改善する加速フレームワークを開発する。
• カーネルスムージングの原理的な帯域選択法を提案し、サンプル品質を向上させる。
• スムージングの視点に基づく新しい ParVIs を考案し、実験で性能の改善を示す。

提案手法

• ParVI を Wasserstein 空間 P2(X) 上の勾配流としてモデル化し、SVGD との関係を真の勾配流の射影として導出する。
• 既存の ParVI が密度または関数のいずれかをスムージングすることを示し、これら二つのスムージング視点の等価性を証明する。
• 新しい二つの ParVIs を導入する：GFSD（smoothed density を用いた勾配流）と GFSF（smoothed test functions を用いた勾配流）。
• P2(X) のリーマン加速に基づく加速フレームワーク（Wasserstein Accelerated Gradient, WAG, と Wasserstein Nesterov’s method, WNes）を開発し、実用的な粒子ベースの更新を提供する。
• 加速を可能にするため、対になる粒子集合を用いて P2(X) 上の指数写像、逆指数写像、並行輸送の実用的近似を説明する。
• ヒート方程式に導かれた原理的なカーネル帯域幅選択を提案し、密度の進化を ParVI でのスムージングと一致させる。

実験結果

リサーチクエスチョン

• RQ1 ParVI を Wasserstein 空間の勾配流視点の下でいかに統一できるか？
• RQ2 有限パーティクル ParVI におけるスムージングの基本的な役割は何か、そして smoothing-density と smoothing-function アプローチはどのように関連しているか？
• RQ3 Wasserstein多様体上の加速技術は実践的に ParVI の収束を改善できるか？
• RQ4 ParVI でのスムージングとサンプル品質を最適化するために、カーネル帯域幅を原理的にどのように選択できるか？
• RQ5 スムージング概念に基づいて導出された新しい ParVI は、既存の方法より実用的な利点を提供するか？

主な発見

• SVGD は、ベクトル値 RKHS への射影を介して P2(X) 上の Wasserstein 勾配流を近似することとして解釈でき、SVGD を真の勾配流と結びつける。
• すべての ParVIs は本質的に勾配流を模倣するためにスムージング（密度または関数のスムージング）を行い、二つのスムージング視点は密度と関数の交換可能性によって等価である。
• 新しい ParVI GFSD と GFSF はスムージング原理から構築され、既存の手法を超える ParVI ファミリーを拡張する。
• Wasserstein 空間上の加速フレームワーク（WAG と WNes）は、リーマン幾何学（逆指数写像や並行輸送など）を活用して ParVI の収束を改善できる。
• ヒート方程式に基づく原理的なカーネル帯域幅選択法は、密度の進化をスムージングに整合させ、ヒューリスティックな帯域幅よりサンプル品質を改善する。
• 実験結果は、加速フレームワークによる収束の改善と、原理的帯域幅法によるサンプル精度の向上を示している。