[논문 리뷰] Weighted Multilevel Langevin Simulation of Invariant Measures

Gilles Pagès, Fabien Panloup|arXiv (Cornell University)|2016. 07. 04.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 6

한 줄 요약

이 논문은 에르고딕 확산 과정의 불변 측도를 효율적으로 시뮬레이션하기 위해 가중 다수준 리치어드-롬버그(ML2R) 랑주비언 방법을 제안한다. 다수준 몬테카를로와 리치어드-롬버그 보간법, 가중 경험 측도를 조합함으로써, 목표 정확도 ε에 대해 평균제곱오차 수렴 속도가 약 ε⁻² log(ε⁻¹)에 도달하며, 표준 옐러 스킴의 1/3 속도보다 크게 뛰어나다.

ABSTRACT

We investigate a weighted Multilevel Richardson-Romberg extrapolation for the ergodic approximation of invariant distributions of diffusions adapted from the one introduced in~[Lemaire-Pag\`es, 2013] for regular Monte Carlo simulation. In a first result, we prove under weak confluence assumptions on the diffusion, that for any integer $R\ge2$, the procedure allows us to attain a rate $n^{\frac{R}{2R+1}}$ whereas the original algorithm convergence is at a weak rate $n^{1/3}$. Furthermore, this is achieved without any explosion of the asymptotic variance. In a second part, under stronger confluence assumptions and with the help of some second order expansions of the asymptotic error, we go deeper in the study by optimizing the choice of the parameters involved by the method. In particular, for a given $\varepsilon extgreater{}0$, we exhibit some semi-explicit parameters for which the number of iterations of the Euler scheme required to attain a Mean-Squared Error lower than $\varepsilon^2$ is about $\varepsilon^{-2}\log(\varepsilon^{-1})$. Finally, we numerically this Multilevel Langevin estimator on several examples including the simple one-dimensional Ornstein-Uhlenbeck process but also on a high dimensional diffusion motivated by a statistical problem. These examples confirm the theoretical efficiency of the method.

연구 동기 및 목표

• 표준 옐러 스킴보다 더 빠른 수렴 속도를 확보하는 에르고딕 확산 과정을 위한 다수준 몬테카를로 방법을 개발하기 위해.
• 다수준 리치어드-롬버그 보간법 하에서 가중 경험 측도의 渐近 분산과 수렴 속도를 분석하기 위해.
• 더 강한 유속 가정 하에서 ML2R 프레임워크의 파라미터를 최적화하여 계산 효율성을 향상시키기 위해.
• 합성 데이터를 사용하여 1차원 및 고차원 확산 과정, 특히 희소 회귀 학습 문제에 대해 수치적으로 방법을 검증하기 위해.

제안 방법

• 감소하는 단계 크기 γn을 갖는 SDE의 옐러 이산화에 대해 가중 다수준 리치어드-롬버그 보간법을 적용한다.
• 탐색과 수렴을 위해 Hn → ∞ 및 Γn → ∞ 를 만족하는 수열 (ηn) 과 (γn) 을 사용하는 가중 경험 측도 νη,γn 을 사용한다.
• νη,γn(f) = (ηn/Hn)f(¯Xn) + (1 - ηn/Hn)νη,γn−1(f) 의 재귀적 계산을 통해 온라인 추정을 가능하게 한다.
• 더 강한 유속 가정 하에서 두 번째 차수 오차 전개를 유도하여, 최소 평균제곱오차(MSE)를 달성하기 위해 (ηn, γn) 파라미터를 최적화한다.
• 목표 MSE ε² 에 도달하기 위해 ε⁻² log(ε⁻¹) 반복 복잡도를 달성하는 반면, 반복적인 매개변수 선택 전략을 반영한다.
• 합성 데이터를 사용하여 1차원 오르누슈타인-울렌벡, 더블웰 퍼텐셜, 고차원 희소 회귀 문제에 대해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 다수준 리치어드-롬버그 보간법은 불변 측도의 랑주비언 시뮬레이션에 적응되어 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 주어진 계산 예산 하에서, 가중 다수준 프레임워크의 파라미터 선택은 평균제곱오차를 최소화하는가?
• RQ3 확산 과정에 대해 약한 유속 가정과 강한 유속 가정 조건에서 이 방법의 성능은 어떻게 되는가?
• RQ4 희소 회귀와 같은 고차원 통계 문제에서 ML2R 접근법은 표준 옐러 스킴을 능가하는가?
• RQ5 실제 구현에서 매개변수 추정 오차에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 약한 유속 가정 하에서, ML2R 방법은 임의의 정수 R ≥ 2 에 대해 수렴 속도 n^(R/(2R+1)) 를 달성하며, 표준 n^(1/3) 속도보다 훨씬 빠르다.
• 漸近 분산은 수준 파라미터 R과 무관하게 증가하지 않아 안정적인 성능 보장이 가능하다.
• 더 강한 유속 가정 하에서, 목표 평균제곱오차 ε² 이하에 도달하기 위해 약 ε⁻² log(ε⁻¹)의 계산 복잡도를 달성한다.
• 수치 결과는 1차원 및 고차원 확산 과정, 특히 희소 회귀 학습 문제에서 이 방법의 효율성을 확인한다.
• 더블웰 퍼텐셜 및 희소 회귀 예제에서 매개변수 추정 오차에 대해 알고리즘이 강인함을 보여준다.
• 특히 희소성 제약 조건이 있는 고차원 설정에서, 거친 옐러 스킴에 비해 훨씬 낮은 편향을 줄여주는 것으로 나타났다.