[논문 리뷰] Sampling normalizing constants in high dimensions using inhomogeneous diffusions

Christophe Andrieu, James Ridgway외 1명|Bristol Research (University of Bristol)|2016. 12. 22.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 4

한 줄 요약

이 논문은 고차원 베이지안 추론에서 정규화 상수를 추정하기 위한 새로운 방법을 제안하며, 비균일한 확산을 사용하여 비점근적 분산 및 편향 경계와 $d \to \infty$ 영역에서의 중심극한정리(central limit theorem)를 확립한다. 이 방법은 강한 로그-볼록 잠재력(log-concave potentials)을 가진 시간에 따라 변하는 과다감쇠 랑주뱅 확산을 활용하여, 이산화된 형태가 차원 $d$ 에 대해 다항식적으로 증가하는 계산 비용을 가지며 고차원에서 신뢰할 수 있는 중요도 샘플링(importance sampling)을 가능하게 한다.

ABSTRACT

Motivated by the task of computing normalizing constants and importance sampling in high dimensions, we study the dimension dependence of fluctuations for additive functionals of time-inhomogeneous Langevin-type diffusions on $\mathbb{R}^{d}$. The main results are nonasymptotic variance and bias bounds, and a central limit theorem in the $d o\infty$ regime. We demonstrate that a temporal discretization inherits the fluctuation properties of the underlying diffusion, which are controlled at a computational cost growing at most polynomially with $d$. The key steps include establishing Poincaré inequalities for time-marginal distributions of the diffusion and nonasymptotic bounds on deviation from Gaussianity in a martingale central limit theorem.

연구 동기 및 목표

• 고차원 베이지안 모델에서 정규화 상수를 추정하기 위한 계산적으로 효율적인 방법을 개발하는 것.
• 시간에 따라 변하는 확산의 가속도 기능들에 대한 변동성의 차원 의존성을 분석하는 것.
• 비균일한 확산을 사용하여 정규화 상수를 추정할 때의 비점근적 분산 및 편향 경계를 확립하는 것.
• 확산 과정에 대해 고차원 극한 $d \to \infty$ 에서 중심극한정리를 증명하는 것.
• 시간 이산화 과정에서 발생하는 오차를 정량화하여, $d$ 가 증가함에 따라 제어 가능하게 유지할 수 있는지 확인하는 것.

제안 방법

• 강한 로그-볼록성을 보장하는 시간에 따라 변하는 잠재력 $U_t(x)$ 를 가진 $\mathbb{R}^d$ 상의 시간에 따라 변하는 과다감쇠 랑주뱅 확산을 사용한다.
• 확산의 시간별 마진 분포에 대해 파인카레 부등식(Poincaré inequalities)을 적용하여 가속도 기능의 분산과 편향을 제어한다.
• 확산 과정에 대한 마틴갈 중심극한정리에서 가우시안성에서의 이탈을 제어하는 비점근적 경계를 유도한다.
• 스텝 크기 $h$ 를 가진 시간 이산화 스킴을 구성하며, 이에 따라 스켈레톤 과정 $\tilde{X}_{kh}^{\epsilon,h}$ 가 이산 시간에 시뮬레이션된다.
• 연속적 과정과 이산화 과정 간의 총 변동 거리(total variation distance)를 경계하여 이산화 오차를 제어하며, 이는 $O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$ 임을 보여준다.
• 마틴갈 근사 기법을 사용하여 확산 과정의 중심극한정리에서 수렴 속도에 대한 정량적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 비균일한 확산의 가속도 기능들의 분산과 편향은 차원 $d$ 에 따라 어떻게 변화하는가?
• RQ2 고차원 극한 $d \to \infty$ 에서 확산 과정에 대해 중심극한정리를 확립할 수 있는가?
• RQ3 시간 이산화가 확산의 변동성 특성에 미치는 영향은 무엇이며, 이 오차는 차원에 대해 균일하게 경계될 수 있는가?
• RQ4 이 방법의 계산 비용은 차원에 따라 어떻게 변화하며, 다항식적으로 유지될 수 있는가?
• RQ5 이 방법을 사용하여 로지스틱 회귀와 같은 고차원 모델에서 정규화 상수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 비균일 확산의 가속도 기능에 대한 비점근적 분산 및 편향 경계가 도출되었으며, 강한 로그-볼록성 조건 하에서 차원에 따라 감소함을 보였다.
• $d \to \infty$ 영역에서 중심극한정리가 확립되었으며, 가우시안성에서의 이탈 경계를 통해 수렴 속도가 정량화되었다.
• 이산화된 과정은 연속적 확산의 변동성 특성을 그대로 이어받으며, 총 변동 거리 오차가 $O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$ 로 경계됨을 보였다.
• 이 방법의 계산 비용은 $d$ 에 대해 최대 다항식적으로 증가하므로 고차원 문제에 대해 실현 가능하다.
• 로지스틱 회귀의 경우, 방법은 차원 의존적인 오차 감소를 보였으며, 분산과 편향에 대한 경계가 $d$ 에 대해 다항식적으로 증가함을 보였다.
• 이 방법은 고차원에서 정규화 상수의 신뢰할 수 있는 중요도 샘플링을 가능하게 하여, 기존 중요도 샘플링에서 관찰되는 지수적 열화를 피할 수 있다.