[논문 리뷰] On the Ergodicity, Bias and Asymptotic Normality of Randomized Midpoint Sampling Method

Ye He, Krishnakumar Balasubramanian외 1명|arXiv (Cornell University)|2020. 12. 01.

Markov Chains and Monte Carlo Methods인용 수 3

한 줄 요약

이 논문은 과다감쇠 및 과다감쇠가 아닌 랑주비안 확산을 이산화하기 위한 랜덤화된 중간점 방법을 분석하며, 강한 볼록성과 미세한 매끄러움 조건 하에서 그의 정적분성, 편향, 점근적 정규성을 확립한다. 이 방법은 일정한 단계 크기를 가질 경우 편향이 존재하지만 단계 크기가 점점 줄어들면서 점근적으로 편향이 없어지며, 수치적 통합에 대한 점근적 정규성을 유도하여 신뢰구간 구축을 가능하게 한다.

ABSTRACT

The randomized midpoint method, proposed by [SL19], has emerged as an optimal discretization procedure for simulating the continuous time Langevin diffusions. Focusing on the case of strong-convex and smooth potentials, in this paper, we analyze several probabilistic properties of the randomized midpoint discretization method for both overdamped and underdamped Langevin diffusions. We first characterize the stationary distribution of the discrete chain obtained with constant step-size discretization and show that it is biased away from the target distribution. Notably, the step-size needs to go to zero to obtain asymptotic unbiasedness. Next, we establish the asymptotic normality for numerical integration using the randomized midpoint method and highlight the relative advantages and disadvantages over other discretizations. Our results collectively provide several insights into the behavior of the randomized midpoint discretization method, including obtaining confidence intervals for numerical integrations.

연구 동기 및 목표

• 일정한 단계 크기 하에서 랜덤화된 중간점 이산화의 정적분분포와 편향을 조사하는 것.
• 이 방법을 사용한 수치적 통합의 점근적 정규성을 확립하는 것.
• 다른 이산화 방법들과의 통계적 성질을 비교하는 것.
• 수치적 통합에서 신뢰구간을 구성하기 위한 이론적 보장을 제공하는 것.

제안 방법

• 일정한 단계 크기의 랑주비안 확산에 대한 랜덤화된 중간점 이산화에 의해 유도되는 이산시간 마르코프 체인을 분석한다.
• 이산 체인의 정적분분포를 특성화하고 목표 분포에 대한 편향을 정량화한다.
• 기능 중심극한정리 기법을 적용하여 정적분 평균의 점근적 정규성을 확립한다.
• 스펙트럼 갭과 드리프트 조건을 사용하여 강한 볼록성과 매끄러움 조건 하에서 기하학적 정적분성을 증명한다.
• 단계 크기와 포텐셜 함수 곡률에 따라 명시적인 편향 한계를 유도한다.
• 이 방법의 수렴 속도와 분산 성질을 옐러-마루야마 및 기타 대칭적 방법들과 비교한다.

실험 결과

연구 질문

• RQ1 일정한 단계 크기 하에서 랜덤화된 중간점 이산화의 정적분분포의 성격은 무엇인가?
• RQ2 단계 크기가 감소함에 따라 이 방법의 편향은 어떻게 행동하는가?
• RQ3 이산화된 과정의 정적분 평균이 점근적 정규성 정리를 만족하는가?
• RQ4 이 방법의 통계적 효율성은 다른 이산화 방법들과 비교해 어떻게 되는가?
• RQ5 이 방법을 사용한 수치적 통합에 대해 신뢰구간을 엄밀하게 구성할 수 있는가?

주요 결과

• 일정한 단계 크기 하에서 랜덤화된 중간점 체인의 정적분분포는 목표 분포에서 벗어나 편향을 가지며, 이 편향은 단계 크기가 0으로 수렴할 때에만 사라진다.
• 단계 크기가 점점 줄어들면서 점근적으로 비편향이 되며, 이는 수치적 통합에서 일致성의 확인을 의미한다.
• 이산화된 과정의 정적분 평균은 점근적 정규성 정리를 만족하여 타당한 신뢰구간을 만들 수 있다.
• 추정기의 점근적 분산은 잘 제어되어 있으며, 다른 대칭적 이산화 방법들과 경쟁 가능하다.
• 강한 볼록성과 매끄러움 조건 하에서 이 방법은 기하학적 정적분성을 보이며, 빠른 혼합을 보장한다.
• 편향과 점근적 분산은 모두 단계 크기와 포텐셜 함수의 헤시안에 명시적으로 의존한다.