[論文レビュー] Radon--Wasserstein Gradient Flows for Interacting-Particle Sampling in High Dimensions

Elias Hess-Childs, Dejan Slepčev+1 more|arXiv (Cornell University)|Feb 5, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

要約: 本論文は、KL発散に対する Radon–Wasserstein および Regularized Radon–Wasserstein 勾配流を導入し、粒子数と次元数に対して1次元射影を Radon 変換を用いて得ることで、線形の per-step コストを持つ高次元の相互作用粒子サンプラーを生み出す。

ABSTRACT

Gradient flows of the Kullback--Leibler (KL) divergence, such as the Fokker--Planck equation and Stein Variational Gradient Descent, evolve a distribution toward a target density known only up to a normalizing constant. We introduce new gradient flows of the KL divergence with a remarkable combination of properties: they admit accurate interacting-particle approximations in high dimensions, and the per-step cost scales linearly in both the number of particles and the dimension. These gradient flows are based on new transportation-based Riemannian geometries on the space of probability measures: the Radon--Wasserstein geometry and the related Regularized Radon--Wasserstein (RRW) geometry. We define these geometries using the Radon transform so that the gradient-flow velocities depend only on one-dimensional projections. This yields interacting-particle-based algorithms whose per-step cost follows from efficient Fast Fourier Transform-based evaluation of the required 1D convolutions. We additionally provide numerical experiments that study the performance of the proposed algorithms and compare convergence behavior and quantization. Finally, we prove some theoretical results including well-posedness of the flows and long-time convergence guarantees for the RRW flow.

研究の動機と目的

• 従来の MCMC と SVGD の高次元における制限を動機づけ、 novel な幾何学に基づく勾配流に基づくスケーラブルな代替案を提案する。
• Radon–Wasserstein (RW) および Regularized Radon–Wasserstein (RRW) 幾何を確率測度上に導入する。
• RW および RRW 幾何に基づく KL 勾配流方程式を導出し、粒子法による離散化を提示する。
• FFT に基づく速度評価を含む効率的アルゴリズムを開発し、計算複雑性を分析する。
• 勾配流と対応する粒子法の良定性、安定性、収束性に対する理論保証を提供する。

提案手法

• Radon 変換とその双対を定義して、 RW および RRW の速度場上の計量テンソルを構築する。
• ターゲット π ∝ e^{-U} に対する RW および RRW 幾何に関する KL 勾配流を定式化する。
• 1 次元射影と Radon 変換の微分を含む RW 勾配流の速度を導出する。
• 確率密度が離散的なときにも粒子近似を可能にする Kernel-Density Radon–Wasserstein (KDRW) 流を導入する。
• 離散測度に対しても明確に定義され粒子ベースの実装を促進する RRW 流を提示する。
• 速度を効率的に計算するための FFT ベースの畳み込み評価を含むアルゴリズム戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 1 次元射影を用いた幾何でKL勾配流を高次元近似に適用できるかという問い。
• RQ2 Radon–Wasserstein および Regularized Radon–Wasserstein 幾何は高次元で正確でスケーラブルな相互作用粒子サンプラーを生み出せるか。
• RQ3 RW および RRW 勾配流とその粒子離散化の理論特性（良定性、安定性、収束）は何か。
• RQ4 KDRW 流は RW 流の実用的な粒子ベース近似としてどの程度機能するか。
• RQ5 提案アルゴリズムの計算複雑性と、次元と粒子数の変化に対する実装性能はどうか。

主な発見

• RW および RRW 幾何を提案し、速度が一次元射影に依存することで、n に対して線形、d に対して線形の per-step コストを実現する。
• RRW 流の良定性と長時間収束性、および相互作用粒子系の平均場収束を確立する。
• 計算効率の高い FFT ベースの速度計算を許す Kernel-正規化 (KDRW) および離散的に優しい RRW 流を開発する。
• 収束挙動と量子化を比較する数値実験を提供し、設定間での性能を示す。
• 高次元サンプリングに対して実用的なスケーリングを示す計算複雑性の分析と実用的アルゴリズムを提示する。