[논문 리뷰] Radon--Wasserstein Gradient Flows for Interacting-Particle Sampling in High Dimensions

Elias Hess-Childs, Dejan Slepčev외 1명|arXiv (Cornell University)|2026. 02. 05.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 Radon–Wasserstein 및 Regularized Radon–Wasserstein 경사 흐름을 KL 발산에 대해 도입하여, Radon 변환을 통한 1차원 프로젝션을 사용하고, 입자 수 및 차원에 대해 선형 per-step 비용으로 고차원 상호작용 입자 샘플러를 제공한다.

ABSTRACT

Gradient flows of the Kullback--Leibler (KL) divergence, such as the Fokker--Planck equation and Stein Variational Gradient Descent, evolve a distribution toward a target density known only up to a normalizing constant. We introduce new gradient flows of the KL divergence with a remarkable combination of properties: they admit accurate interacting-particle approximations in high dimensions, and the per-step cost scales linearly in both the number of particles and the dimension. These gradient flows are based on new transportation-based Riemannian geometries on the space of probability measures: the Radon--Wasserstein geometry and the related Regularized Radon--Wasserstein (RRW) geometry. We define these geometries using the Radon transform so that the gradient-flow velocities depend only on one-dimensional projections. This yields interacting-particle-based algorithms whose per-step cost follows from efficient Fast Fourier Transform-based evaluation of the required 1D convolutions. We additionally provide numerical experiments that study the performance of the proposed algorithms and compare convergence behavior and quantization. Finally, we prove some theoretical results including well-posedness of the flows and long-time convergence guarantees for the RRW flow.

연구 동기 및 목표

• 전통적인 MCMC와 SVGD가 고차원에서 가지는 한계를 동기화하고, 새로운 기하학에서의 그래디언트 흐름에 기반한 확장 가능한 대안을 제안한다.
• 확률 측정에 대해 Radon–Wasserstein(RW) 및 Regularized Radon–Wasserstein(RRW) 기하를 도입한다.
• 타깃 π ∝ e^{-U}에 대해 RW 및 RRW 기하하에서 KL 그래디언트 흐름 방정식을 도출하고 입자 기반 이산화를 제시한다.
• FFT 기반 속도 평가를 포함한 효율적인 알고리즘을 개발하고 계산 복잡성을 분석한다.
• 흐름 및 대응하는 입자 방법의 적정성, 안정성 및 수렴성에 대한 이론적 보장을 제공한다.

제안 방법

• Radon 변환과 그 이중성을 정의하여 속도장에 대한 RW 및 RRW 측도 텐서를 구성한다.
• 타깃 π ∝ e^{-U}에 대해 RW 및 RRW 기하학을 기준으로 KL 그래디언트 흐름을 형식화한다.
• 1차원 프로젝션과 Radon 변환 도함수를 포함하는 RW 그래디언트 흐름 속도를 도출한다.
• 밀도가 이산적일 때 입자 근사를 가능하게 하기 위해 Kernel-Density Radon–Wasserstein(KDRW) 흐름을 도입한다.
• 입자 기반 구현을 용이하게 하고 이산 측정에도 정의가 유지되는 RRW 흐름을 제시한다.
• 속도를 효율적으로 계산하기 위한 알고리즘 전략을 제공하며, FFT 기반 컨볼루션 평가를 포함한다.

실험 결과

연구 질문

• RQ1 1차원 프로젝션을 활용하여 고차원 근사를 가능하게 하는 기하에서 KL 그래디언트 흐름을 어떻게 형식화할 수 있는가?
• RQ2 Radon–Wasserstein 및 Regularized Radon–Wasserstein 기하가 고차원에서 정확하고 확장 가능한 상호 작용 입자 샘플러를 제공할 수 있는가?
• RQ3 RW 및 RRW 그래디언트 흐름과 이들의 입자 이산화가 가지는 이론적 특성(적정성, 안정성, 수렴성)은 무엇인가?
• RQ4 RW 흐름에 대한 입자 기반 근사로서 KDRW 흐름의 실용적 성능은 어떠한가?
• RQ5 제안된 알고리즘의 계산 복잡도와 차원 및 입자 수에 따른 실험적 성능은 어떠한가?

주요 결과

• 우리는 속도가 1차원 프로젝션에 의존하는 그래디언트 흐름을 내는 RW 및 RRW 기하를 제안하며, per-step 비용을 n에 선형, d에 선형으로 만드는 것을 가능하게 한다.
• RRW 흐름의 적정성과 장기 수렴 결과 및 상호 작용 입자 시스템의 평균장 수렴을 확보한다.
• 커널-정규화(KDRW) 및 이산 친화적 RRW 흐름을 개발하여 효율적인 FFT 기반 속도 계산을 허용한다.
• 수렴 거동과 양자화(quantization)를 비교하는 수치 실험을 제공하여 다양한 설정에서의 성능을 보여준다.
• 계산 복잡성을 분석하고 고차원 샘플링에서 우호적인 스케일링을 보이는 실용 알고리즘을 제시한다.