[논문 리뷰] Wasserstein distance estimates for the distributions of numerical approximations to ergodic stochastic differential equations

J. M. Sanz‐Serna, Konstantinos C. Zygalakis|arXiv (Cornell University)|2021. 04. 26.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 강한 로그볼록성 목표를 가진 에르고딕 SDE에 적용된 수치적 방법의 비점근적 분석을 위한 통합 프레임워크를 제안한다. 주로 불변 측도와 그 수치적 근사 간의 2-워샤르슈타인 거리에 초점을 맞춘다. 제안된 새로운 스플리팅 적분법(Ubu)은 단 한 번의 기울기 평가로 매 단계를 처리하며, 분포상으로 $\epsilon$-정확도를 달성하기 위한 $\mathcal{O}(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$의 복잡도 한계를 확립한다.

ABSTRACT

We present a framework that allows for the non-asymptotic study of the $2$-Wasserstein distance between the invariant distribution of an ergodic stochastic differential equation and the distribution of its numerical approximation in the strongly log-concave case. This allows us to study in a unified way a number of different integrators proposed in the literature for the overdamped and underdamped Langevin dynamics. In addition, we analyse a novel splitting method for the underdamped Langevin dynamics which only requires one gradient evaluation per time step. Under an additional smoothness assumption on a $d$--dimensional strongly log-concave distribution with condition number $\\kappa$, the algorithm is shown to produce with an $\\mathcal{O}\\big(\\kappa^{5/4} d^{1/4}\\epsilon^{-1/2} \\big)$ complexity samples from a distribution that, in Wasserstein distance, is at most $\\epsilon>0$ away from the target distribution.

연구 동기 및 목표

• 강한 로그볼록성 케이스에서 에르고딕 SDE의 수치적 근사에 대한 일반적인 비점근적 분석 프레임워크를 개발하는 것.
• 2-워샤르슈타인 거리로 측정하는 기준에서 과다감쇠 및 과다감쇠 라ング주인 역학에 대한 기존 적분법의 연구를 통합하는 것.
• 과다감쇠 라ング주인 역학을 위한 새로운 스플리팅 적분법(Ubu)을 분석하여, 시간 단계당 기울기 평가를 단 한 번만 수행하는 것.
• 목표 정확도 $\epsilon$에 대해 워샤르슈타인 거리에서 $\epsilon$-근접한 분포를 달성하기 위해 차원 $d$, 조건수 $\kappa$, 목표 정확도 $\epsilon$에 따라 복잡도 한계를 유도하는 것.
• 고차원 및 낮은 오차 수준에서 최적 수렴 속도를 달성하기 위해 수축성과 국소 강한 오차 제어가 핵심임을 입증하는 것.

제안 방법

• 프레임워크는 수치적 근사의 분포와 불변 측도 $\pi^\star$ 사이의 2-워샤르슈타인 거리를 두 가지 구성요소인 적분법의 수축성과 수치적 방법의 국소 강한 오차로 제한한다.
• 분석은 이토-테일러 전개와 모멘트 한계를 활용하여 Ubu 적분법의 위치 및 속도 성분에 대한 국소 오차를 추정한다.
• 이 방법은 역학을 결정론적 및 확률적 부분단계로 분리하는 스플리팅 전략을 사용하여, 시간 단계당 한 번의 기울기 평가로 효율적인 구현을 가능하게 한다.
• 유클리드 노름 한계를 워샤르슈타인 거리 분석에 적합한 추정치로 변환하기 위해 $P$-노름과 $L^2$-내적을 사용한다.
• 프레임워크는 과다감쇠 및 과다감쇠 라ング주인 SDE 모두에 적용 가능하며, 강한 로그볼록성과 미분 가능성 조건 하에서 명시적인 한계를 도출한다.
• 이론적 한계는 한 시간 단계 동안 정확한 해와 수치적 해의 차이를 분석한 후, 수축성을 활용해 $n$단계에 걸쳐 전파함으로써 유도된다.

실험 결과

연구 질문

• RQ1 에르고딕 SDE의 불변 측도와 그 수치적 근사 간의 2-워샤르슈타인 거리를 비점근적으로 어떻게 제한할 수 있는가?
• RQ2 적분법의 수축성과 국소 강한 오차가 고차원, 강한 로그볼록성 설정에서 수치 샘플러의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 과다감쇠 라ング주인 역학을 위한 스플리팅 적분법이 시간 단계당 기울기 평가를 한 번만 수행함으로써 최적의 복잡도를 달성할 수 있는가?
• RQ4 기존 방법인 EE와 비교할 때, 새로운 Ubu 적분법의 오차 및 계산 비용 성능은 어떻게 되는가?
• RQ5 샘플링 복잡도가 조건수 $\kappa$, 차원 $d$, 목표 정확도 $\epsilon$에 따라 어떻게 의존하는가?

주요 결과

• 제안된 프레임워크는 불변 측도와 수치적 근사 간의 2-워샤르슈타인 거리에 대한 일반적인 비점근적 한계를 제공하며, 이는 수축성과 국소 강한 오차에 따라 달라진다.
• Ubu 적분법의 경우, 2-워샤르슈타인 오차는 $\mathcal{O}(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$로 제한되며, 이는 분포상으로 $\epsilon$-정확도를 달성하기 위한 단계 수이다.
• Ubu 적분법은 시간 단계당 기울기 평가를 단 한 번만 수행함으로써 이 복잡도를 달성하며, 이는 EE 방법과 동일한 계산 비용을 가지지만 더 뛰어난 수렴 성질을 보인다.
• 고차 미분 가능성 조건(가정 2.3)이 없을 경우에도 Ubu 적분법은 강한 순서 1을 확보하며, 주요 오차 항은 $c^{3/2}Ld^{1/2}$와 $cL^{1/2}d^{1/2}$로 표현되며, $L$에 대해 유리하게 스케일링된다.
• 분석 결과, Ubu의 국소 오차는 주요 항인 $c^{3/2}Ld^{1/2}$에서 EE 방법보다 약 $\sqrt{3}/3 \approx 0.577$ 배 작아지며, 이는 더 나은 수렴 성능을 의미한다.
• 프레임워크는 수축성이 뛰어나고 국소 강한 오차가 작은 적분법이 고차원 및 낮은 오차 범위에서 더 뛰어난 성능을 발휘함을 확인한다.