[논문 리뷰] Entropic Wasserstein Gradient Flows

Gabriel Peyré|arXiv (Cornell University)|2015. 02. 22.

Geometric Analysis and Curvature Flows참고 문헌 48인용 수 5

한 줄 요약

이 논문은 엔트로피 정규화 기반 접근법을 통해 워셔스타인 기울기 유동의 계산을 가속화한다. 이는 계산 비용이 높은 워셔스타인 거리 대신 엔트로피 스무딩을 통해 칼리브라-라이블러 발산으로 대체함으로써 이루어진다. 이 방법은 딕스트라 알고리즘과 선형 필터링(예: 가우시안 컨볼루션)을 활용해 빠르고 병렬 처리 가능한 수치적 알고리즘을 가능하게 하며, 격자에서는 거의 선형 시간 복잡도를 달성하고 복잡한 영역에서의 열 확산 근사도 효율적으로 수행한다.

ABSTRACT

This article details a novel numerical scheme to approximate gradient flows for optimal transport (i.e. Wasserstein) metrics. These flows have proved useful to tackle theoretically and numerically non-linear diffusion equations that model for instance porous media or crowd evolutions. These gradient flows define a suitable notion of weak solutions for these evolutions and they can be approximated in a stable way using discrete flows. These discrete flows are implicit Euler time stepping according to the Wasserstein metric. A bottleneck of these approaches is the high computational load induced by the resolution of each step. Indeed, this corresponds to the resolution of a convex optimization problem involving a Wasserstein distance to the previous iterate. Following several recent works on the approximation of Wasserstein distances, we consider a discrete flow induced by an entropic regularization of the transportation coupling. This entropic regularization allows one to trade the initial Wasserstein fidelity term for a Kulback-Leibler divergence, which is easier to deal with numerically. We show how KL proximal schemes, and in particular Dykstra's algorithm, can be used to compute each step of the regularized flow. The resulting algorithm is both fast, parallelizable and versatile, because it only requires multiplications by a Gibbs kernel. On Euclidean domains discretized on an uniform grid, this corresponds to a linear filtering (for instance a Gaussian filtering when $c$ is the squared Euclidean distance) which can be computed in nearly linear time. On more general domains, such as (possibly non-convex) shapes or on manifolds discretized by a triangular mesh, following a recently proposed numerical scheme for optimal transport, this Gibbs kernel multiplication is approximated by a short-time heat diffusion.

연구 동기 및 목표

• 워셔스타인 기울기 유동의 음성 오일러 시간 이산화에서 각 단계를 푸는 데 드는 높은 계산 비용을 해결한다.
• 기울기 유동 계획에서 정확한 워셔스타인 거리 계산에 대한 수치적으로 효율적인 대체 방법을 개발한다.
• 비선형 확산 및 군중 운동 PDE를 복잡한 영역에서 스케일러블하고 안정적인 수치 근사를 가능하게 한다.
• 엔트로피 정규화를 활용해 워셔스타인 피紐얼리티 항을 Kullback-Leibler 발산으로 변환하여 수치적 취급 가능성을 향상시킨다.
• 오직 갈루스 커널 $e^{-c/ u}$와의 행렬 곱셈만 요구하는 다용도이고 병렬 처리 가능한 알고리즘을 설계한다.

제안 방법

• JKO(Jordan-Kinderlehrer-Otto) 기울기 유동 계획의 각 단계에서 최적 운반 문제에 엔트로피 정규화를 적용하여 워셔스타인 거리를 Kullback-Leibler 발산으로 대체한다.
• KL 발산 기반의 일阶 프록시멀 스킴을 사용해 각 시간 단계를 계산함으로써, 딕스트라 알고리즘을 통한 효율적 최적화를 가능하게 한다.
• 균일 격자에서 갈루스 커널 $e^{-c/ u}$를 선형 필터(예: 가우시안)로 표현하여 빠른 컨볼루션을 통해 거의 선형 시간 복잡도로 계산 가능하게 한다.
• 비균일하거나 다양체로 이산화된 영역의 경우, 갈루스 커널 곱셈을 짧은 시간의 열 확산을 통해 근사함으로써 기존 수치 계획을 활용한다.
• 가중 기하 평균을 이용한 확률 측도의 복합 함수에 대한 프록시멀 오퍼레이터를 구성함으로써 다중 마진에 걸쳐 모듈식 계산을 가능하게 한다.
• 합, 곱, 마진화 등의 다양한 함수 형태에 대해 프록시멀 오퍼레이터의 닫힌 형태 표현식을 유도하여 계산 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화가 워셔스타인 기울기 유동의 해를 안정적이고 수치적으로 효율적으로 가속화하는 데 효과적으로 적용될 수 있는가?
• RQ2 워셔스타인 거리 하위 문제를 해결하는 계산 블로킹 문제를 완화하면서도 PDE의 약한 해로 수렴하는 데에 영향을 주지 않는가?
• RQ3 삼각형 메esh나 다양체와 같은 비유클리드 영역에서 갈루스 커널 곱셈을 얼마나 효율적으로 근사할 수 있는가?
• RQ4 결과로 도출된 알고리즘이 군중 운동 및 비선형 확산과 같은 다양한 응용 분야에서 병렬 처리 가능성과 다용도성을 유지할 수 있는가?
• RQ5 엔트로피 정규화가 기울기 유동 근사의 정확도와 수렴 속도에 미치는 영향은 어떠한가?

주요 결과

• 엔트로피 정규화는 워셔스타인 거리 하위 문제를 Kullback-Leibler 발산 최소화 문제로 변환하여 원래의 선형 계획 문제보다 수치적으로 더 취급하기 쉬운 형태로 만든다.
• 빠른 선형 필터링(예: 가우시안 컨볼루션)을 활용함으로써 균일 격자에서는 거의 선형 시간 복잡도를 달성한다.
• 비볼록 형태나 삼각형 메쉬와 같은 복잡한 영역에서는 갈루스 커널 곱셈이 짧은 시간의 열 확산을 통해 근사되며, 정확도와 안정성을 유지한다.
• 이 방법은 투과성 매질 및 공간적으로 변화하는 확산 계수를 갖는 방정정식을 포함한 비선형 PDE에 대한 JKO 유형 기울기 유동의 효율적 계산을 가능하게 한다.
• 수치 실험을 통해 이 방법이 복잡한 기하학적 구조에서의 군중 운동 시뮬레이션과 변수 계수를 갖는 비선형 확산을 효과적으로 수행하는 것으로 나타났다.
• KL 기반 프록시멀 스킴에 대해 딕스트라 알고리즘을 사용함으로써 모든 테스트 구성에서 강력하고 스케일러블한 수렴을 보장한다.