[논문 리뷰] Scaling limit of the Stein variational gradient descent: the mean field regime

Jianfeng Lu, Yulong Lu외 1명|arXiv (Cornell University)|2018. 05. 10.

Markov Chains and Monte Carlo Methods참고 문헌 32인용 수 7

한 줄 요약

이 논문은 스틴 변분 경사 하강법(SVGD) 입자 시스템의 평균장 근사(mean field limit)를 확립하며, 상호작용하는 N개의 입자들의 경험적 측도가 N→∞일 때 비국소적이고 비선형적인 PDE의 해로 수렴함을 증명한다. 또한 이 PDE 해에 대한 전역 존재성, 유일성, 정칙성을 확립하고, 장시간에 걸쳐 해가 목표 Gibbs 측도로 수렴함을 보인다.

ABSTRACT

We study an interacting particle system in $\mathbf{R}^d$ motivated by Stein variational gradient descent [Q. Liu and D. Wang, NIPS 2016], a deterministic algorithm for sampling from a given probability density with unknown normalization. We prove that in the large particle limit the empirical measure of the particle system converges to a solution of a non-local and nonlinear PDE. We also prove global existence, uniqueness and regularity of the solution to the limiting PDE. Finally, we prove that the solution to the PDE converges to the unique invariant solution in long time limit.

연구 동기 및 목표

• 스티븐 변분 경사 하강법(SVGD)에 기반한 상호작용 입자 시스템의 평균장 근사를 엄밀히 정당화하는 것.
• 한계가 되는 비국소적이고 비선형적인 PDE의 해에 대한 전역 존재성, 유일성, 정칙성을 증명하는 것.
• 입자 수 N→∞일 때 입자 시스템의 경험적 측도가 PDE 해로 수렴함을 보이는 것.
• PDE 해의 장시간 행동을 분석하고, t→∞일 때 해가 불변 Gibbs 측도 ρ∞(x)∝e⁻ᵛ⁽ˣ⁾로 수렴함을 증명하는 것.

제안 방법

• Rᵈ에서 입자 운동의 형식적 유도: ∂ₜρ = ∇·(ρ(K∗(∇ρ + ∇V ρ)))를 통한 평균장 PDE 유도.
• 경험적 측도가 PDE 해로 수렴함을 분석하기 위해 워샤어슈타인-2 거리와 상대 엔트로피(KL 발산)를 사용.
• 푸리에 분석과 양의 정부호 커널 K의 성질을 활용하여 KL 발산의 장시간 감쇠를 연구.
• SVGD 알고리즘에서 최적의 속도장을 기술하기 위해 스틴 연산자 Sₚφ = ∇logρ·φ + ∇·φ를 적용.
• 커널 K를 사용한 재생 핵 힐베르트 공간(RKHS) 구조를 활용하여 최적의 속도장을 명시적으로 표현: φ* ∝ ∫(∇logρ(x)K(x,·) + ∇ₓK(x,·))μ(dx).
• 커널 K의 양성 및 감쇠 성질을 활용한 컴actness 추론과 확률 측도 공간에서의 약수렴을 통한 평형 상태 수렴 증명.

실험 결과

연구 질문

• RQ1 SVGD 입자 시스템의 경험적 측도는 대규모 N 근사에서 결정론적 PDE로 수렴하는가?
• RQ2 한계가 되는 PDE는 존재성, 유일성, 정칙성 측면에서 전역적으로 잘 정의되어 있는가?
• RQ3 한계 PDE의 해는 t→∞일 때 목표 Gibbs 측도 ρ∞(x) = e⁻ᵛ⁽ˣ⁾/Z로 약수렴하는가?
• RQ4 에너지 감쇠 구조를 통해 평형 상태로의 수렴을 보장하는 데 커널 K의 역할은 무엇인가?

주요 결과

• 적절한 초기 수렴 조건 μ₀ᴺ → ρ₀ 하에서, N→∞일 때 N-입자 시스템의 경험적 측도 μₜᴺ이 비국소적이고 비선형적인 PDE의 해 ρ(t,·)로 법적으로 수렴한다.
• 초기 자료가 정칙성 클래스 𝒴²₁,ⱽ에 속할 경우, 한계 PDE는 유일하고 전역적으로 존재하며 매끄러운 해를 가진다.
• 상대 엔트로피 KL(ρₜ||ρ∞)는 PDE 흐름 동안 단조 감소하며, t→∞일 때 ∂ₜKL(ρₜ||ρ∞) → 0이다.
• 커널 K의 푸리에 변환이 영이 아닌 것으로 가정할 경우, 해 ρ(t,·)는 t→∞일 때 약수렴하여 불변 Gibbs 측도 ρ∞(x) = e⁻ᵛ⁽ˣ⁾/Z로 수렴한다.
• 하나의 부분수열 추론과 푸리에 변환을 활용하여 평형 상태 수렴을 확립하였으며, 이로 인해 한계 측도는 ∇(eᵛ̄ρ) = 0를 만족하며, 이는 ρ̄ = Cρ∞임을 의미하고, 정규화 조건에 의해 C=1임을 도출한다.
• 커널 K의 양의 정부호성과 감쇠 성질은 에너지 소산 항 ∫∫(∇ρ + ∇Vρ)(x)·K(x−y)·(∇ρ + ∇Vρ)(y)dxdy → 0 (t→∞)를 보장하며, 이는 평형 상태 수렴을 증명하는 데 핵심적이다.