[논문 리뷰] Rates in the Central Limit Theorem and diffusion approximation via Stein's Method

Chattopadhyay, Eshan, De, Anindya외 1명|arXiv (Cornell University)|2015. 06. 23.

Point processes and geometric inequalities참고 문헌 29인용 수 11

한 줄 요약

이 논문은 확률측도 $\nu$와 목표측도 $\mu$ 사이의 $p \geq 1$ 순서 워셔슈타인 거리에 대한 새로운 응용을 스틴 방법을 통해 개발한다. 특히 다변량 정규분포와 일반적인 역행성 확산 과정에 중점을 두고 있다. $X_t \sim \nu$를 만족하는 확률과정 $(X_t)_{t \geq 0}$를 활용하여, $\nu$가 불변인 시간에 따라 변하는 연산자 $(L_\nu)_t$를 구성함으로써, 테일러 전개와 모멘트 추정을 통해 수렴 속도의 경계를 도출한다. 주요 기여는 약한 조건 하에서 이차 워셔슈타인 거리에 대한 정량적이고 비점근적인 경계를 제시하는 것으로, 일반적인 확산 과정으로의 확장과 몬테카를로 샘플링 및 무작위 기하 그래프에의 응용을 포함한다.

ABSTRACT

We present a way to use Stein's method in order to bound the Wasserstein distance of order $2$ between two measures $ν$ and $μ$ supported on $\mathbb{R}^d$ such that $μ$ is the reversible measure of a diffusion process. In order to apply our result, we only require to have access to a stochastic process $(X_t)_{t \geq 0}$ such that $X_t$ is drawn from $ν$ for any $t > 0$. We then show that, whenever $μ$ is the Gaussian measure $γ$, one can use a slightly different approach to bound the Wasserstein distances of order $p \geq 1$ between $ν$ and $γ$ under an additional exchangeability assumption on the stochastic process $(X_t)_{t \geq 0}$. Using our results, we are able to obtain convergence rates for the multi-dimensional Central Limit Theorem in terms of Wasserstein distances of order $p \geq 2$. Our results can also provide bounds for steady-state diffusion approximation, allowing us to tackle two problems appearing in the field of data analysis by giving a quantitative convergence result for invariant measures of random walks on random geometric graphs and by providing quantitative guarantees for a Monte Carlo sampling algorithm.

연구 동기 및 목표

• 측도 $\nu$와 목표측도 $\mu$ 사이의 $p \geq 1$ 순서 워셔슈타인 거리를 스토케스틱 프로세스를 이용하여 일반적인 프레임워크로 경계 짓는 것.
• 클래식한 스틴 방정식과 스틴 커널을 넘어서, $\nu$가 그 작용 하에서 불변이 되는 시간에 따라 변하는 연산자 $(L_\nu)_t$를 도입함으로써 스틴 방법을 확장하는 것.
• 다변량 중심극한정리에 대한 $W_p$ 거리에 대해 $p \geq 2$일 때 비점근적이고 정량적인 수렴 속도를 제공하는 것.
• 정적 상태의 확산 근사에 이 방법을 적용하여, 특히 랜덤 기하 그래프에서의 무작위 걷기의 불변 측도와 몬테카를로 샘플링 알고리즘에의 응용.

제안 방법

• $X_t \sim \nu$를 만족하는 스토케스틱 프로세스 $(X_t)_{t \geq 0}$를 도입하여, $ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[\varphi(X_t) - \varphi(X_0) \mid X_0 = x] $로 정의되는 연산자 $(L_\nu)_t$의 가족을 구성하는 것.
• $\nu$가 $(L_\nu)_t$ 하에서 불변임을 이용하여, 목표 확산 프로세스의 생성자 $L_\mu$와 비교함으로써, 두 연산자 간의 관계를 테일러 전개를 통해 연결하는 것.
• 시간 평균 연산자 $(L_\nu)_t$와 표준 정규분포 확산의 생성자 $L_\gamma$ 간의 이격을 제어함으로써, $W_2(\nu, \gamma)$의 워셔슈타인 거리에 대한 경계를 설정하는 것.
• 교환 가능 과정의 경우, $ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[(X_t - X_0)(\varphi(X_t) + \varphi(X_0)) \mid X_0 = x] $로 수정된 연산자를 정의하여, $p \geq 1$에 대해 $W_p$ 거리에 대한 경계를 가능하게 하는 것.
• 모멘트 추정과 컴acts된 지원을 가진 편미분 $U$를 포함한 커플링 추론을 통해, 특히 $ \mathbb{E}[\|X_t - X_0\|^{2+\xi}] $ 및 $ \mathbb{E}[\|b(X_0)\|_{a^{-1}}^2] $의 경계를 통해 테일러 전개의 오차를 제어하는 것.
• 두 가지 응용에 이 방법을 적용하는 것: (1) 랜덤 기하 그래프에서의 무작위 걷기의 불변 측도가 확산 근사로 수렴하는 것, (2) 알려진 불변 측도를 가진 스토케스틱 프로세스에 기반한 몬테카를로 샘플링 알고리즘의 수렴 보장.

실험 결과

연구 질문

• RQ1 $X_t \sim \nu$를 만족하는 스토케스틱 프로세스 $(X_t)_{t \geq 0}$를 사용하여, $\nu$와 목표 측도 $\mu$ 사이의 $W_p$ 거리에 대한 비점근적 경계를 유도할 수 있는가?
• RQ2 고차원에서의 스틴 방정식을 풀거나 스틴 커널을 계산할 필요 없이 스틴 방법을 어떻게 수정할 수 있는가?
• RQ3 기본 프로세스에 대한 최소한의 가정 하에서, $p \geq 2$에 대해 다변량 중심극한정리의 수렴 속도는 $W_p$ 거리로 어떻게 기술되는가?
• RQ4 이 프레임워크는 무작위 기하 그래프에서의 무작위 걷기의 정적 상태 확산 근사에 대해 정량적 보장을 제공할 수 있는가?
• RQ5 교환 가능성은 $W_p$ 거리 경계를 강화하는 데 어떤 역할을 하는가? 그리고 $ (L_\nu)_t $와 $L_\mu$ 사이의 직접적인 비교를 어떻게 가능하게 하는가?

주요 결과

• 논문은 표준 정규측도 $\gamma$와 $\nu$ 사이의 2-워셔슈타인 거리에 대한 경계를 확립하여, $\epsilon_1, \epsilon_2, \epsilon_3 \to 0$, $n \to \infty$ 일 때 $ (1 - e^{-c\kappa T}) W_2(\tilde{\nu}_{n,\epsilon_1,\epsilon_2}, \mu) \leq \int_0^T \mathbb{E}[S(t)^2]^{1/2} dt + o(1) $임을 보여준다.
• 교환 가능한 과정의 경우, $p \geq 1$에 대해 $W_p$ 거리에 대한 경계를 도출할 수 있으며, 핵심 추정은 시간 평균 연산자와 생성자 $L_\mu$ 간의 차이의 $L^2$-노름을 포함한다.
• 다변량 중심극한정리의 수렴 속도는 $p \geq 2$에 대해 $W_p$ 거리로 정량화되었으며, 이 경계는 증분 $X_t - X_0$의 모멘트와 비용과 분산 계수의 정칙성에 따라 달라진다.
• 이 프레임워크는 그래프와 프로세스에 대한 약한 가정 하에서, 랜덤 기하 그래프에서의 무작위 걷기의 불변 측도가 확산 근사로 수렴하는 데에 정량적 보장을 제공한다.
• 기반 스토케스틱 프로세스의 불변 측도를 가진 몬테카를로 샘플링 알고리즘에 대해, 이 방법은 경험 측도와 목표 불변 측도 사이의 거리에 대한 비점근적 경계를 제공하며, 혼합 시간과 모멘트 조건에 명시적인 의존성을 가진다.
• 분석 결과, 지수적 에르고디시티 조건 하에서, 목표 측도 $\mu$로의 $W_2$ 거리는 프로세스의 생성자와 목표 확산의 생성자 간의 이격의 $L^2$-노름으로 제어될 수 있음을 보여준다.