[論文レビュー] Sampling via Gradient Flows in the Space of Probability Measures

Yifan Chen, Daniel Zhengyu Huang+3 more|arXiv (Cornell University)|Oct 5, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿は、正規化定数が未知の分布をサンプリングするための確率測度空間における勾配流れを調査する。f-発散度の中で、正規化に対する不変性のおかげで、KL発散度が唯一優位であることを示し、異方的分布のサンプリングを改善するためのアフィン不変 Wasserstein および Stein 勾配流れを導入する。また、効率的なガウス近似手法を開発し、対数凸分布やガウス分布に対して優れた性能を示すが、多次元モードや曲がった多様体上に分布する分布に対しては限界が生じる。

ABSTRACT

Sampling a target probability distribution with an unknown normalization constant is a fundamental challenge in computational science and engineering. Recent work shows that algorithms derived by considering gradient flows in the space of probability measures open up new avenues for algorithm development. This paper makes three contributions to this sampling approach by scrutinizing the design components of such gradient flows. Any instantiation of a gradient flow for sampling needs an energy functional and a metric to determine the flow, as well as numerical approximations of the flow to derive algorithms. Our first contribution is to show that the Kullback-Leibler divergence, as an energy functional, has the unique property (among all f-divergences) that gradient flows resulting from it do not depend on the normalization constant of the target distribution. Our second contribution is to study the choice of metric from the perspective of invariance. The Fisher-Rao metric is known as the unique choice (up to scaling) that is diffeomorphism invariant. As a computationally tractable alternative, we introduce a relaxed, affine invariance property for the metrics and gradient flows. In particular, we construct various affine invariant Wasserstein and Stein gradient flows. Affine invariant gradient flows are shown to behave more favorably than their non-affine-invariant counterparts when sampling highly anisotropic distributions, in theory and by using particle methods. Our third contribution is to study, and develop efficient algorithms based on Gaussian approximations of the gradient flows; this leads to an alternative to particle methods. We establish connections between various Gaussian approximate gradient flows, discuss their relation to gradient methods arising from parametric variational inference, and study their convergence properties both theoretically and numerically.

研究の動機と目的

• 確率測度空間における勾配流れの設計原理を理解すること。
• なぜKullback-Leibler (KL) 発散度が、サンプリングの文脈でf-発散度の中で唯一優位であるかを特定すること。
• 計量の不変性が、特に異方的および困難なターゲット分布に対して勾配流れの性能に与える影響を調査すること。
• 粒子法の代替手段として、勾配流れのガウス近似による計算効率の向上を図ること。
• 多様なターゲット分布にわたるアフィン不変勾配流れおよびそのガウス近似の収束性と精度を評価すること。

提案手法

• エネルギー汎関数と計量テンソルを用いて、サンプリングを確率測度空間における勾配流れとして形式化する。
• ターゲット分布の正規化定数に依存しない勾配流れを生成するf-発散度として、KL発散度が唯一であることを証明する。
• 計量に対する緩いアフィン不変性の性質を導入し、微分同相不変流れの計算的に実装可能な代替手段として、アフィン不変 Wasserstein および Stein 勾配流れを構築する。
• 連続時間の流れをパラメトリックなガウス族に射影することで、ガウス近似勾配流れを構築し、効率的な実装を可能にする。
• 粒子法を用いて完全な勾配流れを数値的に近似し、異なる計量およびターゲット分布における収束行動を比較する。
• ガウス近似 Fisher-Rao 勾配流れの理論的収束速度を確立し、パラメトリックな変分推論手法と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 なぜKullback-Leibler 発散度が、確率測度空間におけるサンプリングのエネルギー汎関数として唯一適しているのか？
• RQ2 微分同相不変性およびアフィン不変性といった不変性の性質が、サンプリング応用における勾配流れの収束行動にどのように影響するのか？
• RQ3 Wasserstein および Stein 計量を用いて、アフィン不変勾配流れを構築できるか？また、それらは、非常に異方的な分布のサンプリングにおいて、非不変対応物を上回る性能を示すか？
• RQ4 勾配流れのガウス近似は、粒子ベースの実装のスケーラブルな代替手段としてどれほど有効か？
• RQ5 非ガウス分布、多次元モード、あるいは曲がった多様体上に集中する事後分布（例：Rosenbrock関数）をサンプリングする際、アフィン不変ガウス近似にはどのような限界があるか？

主な発見

• KL 発散度は、ターゲット分布の正規化定数に依存しない勾配流れを生成する唯一のf-発散度であるため、サンプリング分野で広く用いられる理由が正当化される。
• Fisher-Rao 計量は、スケーリングを除き、微分同相不変計量として唯一である。一般条件下で一様な指数的収束を実現できるが、粒子法による実装は極めて非自明である。
• アフィン不変 Wasserstein および Stein 勾配流れが構築され、理論的および数値的に、非アフィン不変対応物を上回ることが示された。特に、非常に異方的な分布のサンプリングにおいて優れた性能を発揮する。
• アフィン不変性を継承するガウス近似 Fisher-Rao 勾配流れは、$L^2$ 誤差および共分散誤差を用いた評価において、ガウス分布および対数凸分布に対して優れた収束性と精度を示した。
• 一般の事後分布、特に多次元モードや曲がった多様体（例：Rosenbrock関数）上に集中する分布に対しては、ガウス近似は真の事後分布を捉えきれないことが明らかとなり、その限界が示された。
• 本研究では、現在のアフィン不変ガウス近似手法の範囲を超える複雑な事後分布幾何構造を扱うため、ガウス・ミックスチャネルなどの高度な近似手法の必要性が明らかになった。