[논문 리뷰] HMC and underdamped Langevin united in the unadjusted convex smooth case

Gouraud, Nicolaï, Bris, Pierre Le외 2명|arXiv (Cornell University)|2022. 02. 02.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 일반화된 HMC 프레임워크 내에서 하미르토니안 몬테카를로(HMC)와 과소감쇠 랑주뱅 동역학을 통합하며, 부분적인 속도 재설정(비영인 마찰 계수)이 조정되지 않은 볼록 스무스 케이스에서 수렴 속도를 $1/\kappa$ 에서 $1/\sqrt{\kappa}$ 로 향상시킴을 보여준다. 스위치 기반 경사하강법 버전에 대해 차원에 종속되지 않는 수렴 속도를 확립하여, 관성 항이 있는 HMC 및 랑주뱅 샘플러에 대한 이전 결과를 확장하고 통합한다.

ABSTRACT

We consider a family of unadjusted generalized HMC samplers, which includes standard position HMC samplers and discretizations of the underdamped Langevin process. A detailed analysis and optimization of the parameters is conducted in the Gaussian case, which shows an improvement from $1/κ$ to $1/\sqrtκ$ for the convergence rate in terms of the condition number $κ$ by using partial velocity refreshment, with respect to classical full refreshments. A similar effect is observed empirically for two related algorithms, namely Metropolis-adjusted gHMC and kinetic piecewise-deterministic Markov processes. Then, a stochastic gradient version of the samplers is considered, for which dimension-free convergence rates are established for log-concave smooth targets over a large range of parameters, gathering in a unified framework previous results on position HMC and underdamped Langevin and extending them to HMC with inertia.

연구 동기 및 목표

• 조정되지 않은 일반화된 HMC(gHMC) 샘플러를 통합하고 분석하여, 표준 HMC와 과소감쇠 랑주뱅 동역학을 포함한다.
• 조건수 $\kappa$를 고려할 때, 가우시안 케이스에서 시간 간격 $\delta$, 단계 수 $K$, 마찰 계수 $\eta$ 등의 파라미터를 최적화하여 수렴 속도를 향상시킨다.
• 관성 항이 있는 gHMC의 스위치 기반 경사하강법 버전으로 분석를 확장하여, 로그-볼록 스무스 목표 함수에서 차원에 종속되지 않는 수렴 속도를 확보한다.
• 부분적인 속도 재설정($\eta > 0$)이 조건수 $\kappa$ 기반으로 $1/\kappa$ 에서 $1/\sqrt{\kappa}$ 로 수렴 속도 향상에 기여함을 입증한다.

제안 방법

• 하미르토니안 역학과 자동회귀적 가우시안 속도 재설정을 위한 교차적 버렛 적분기법을 사용하는 통합 gHMC 프레임워크를 제안한다.
• 분할 기법을 사용하여 동역학을 모델링: 시간 간격 $\delta$ 로 $K$ 단계 동안 버렛 적분을 수행한 후, $v \leftarrow \eta v + \sqrt{1 - \eta^2} G$ 를 통한 속도 재설정을 수행한다.
• 가우시안 목표 함수에 대해 $\mathcal{W}_2$-와서르슈타인 거리 기반 수렴 속도를 분석하며, $\kappa$ 와 허용 오차 $\varepsilon$ 에 따라 최적의 $\delta$, $K$, $\eta$ 를 유도한다.
• 커플링 기법과 수축 추정을 사용하여, 스위치 기반 경사하강법 버전의 와서르슈타인 거리 상한을 구해 차원에 종속되지 않는 수렴 속도를 확립한다.
• 메트로폴리스 조정 gHMC 및 운동적 조각별 결정론적 마르코프 과정에 결과를 적용하여, 부분 재설정이 실제로 성능 향상에 기여함을 보여준다.
• 시간 간격을 $\delta' = \delta \sqrt{L}$ 과 조건수 $\kappa = L/m$ 으로 스케일링하여, 로그-볼록 스무스 목표 함수 전반에 걸쳐 분석을 통일한다.

실험 결과

연구 질문

• RQ1 최적의 속도 재설정을 통해 HMC와 과소감쇠 랑주뱅 샘플러의 수렴 속도를 향상시킬 수 있는 통합 프레임워크를 제안할 수 있는가?
• RQ2 조건수 $\kappa$ 를 가진 가우시안 목표 함수에서 조정되지 않은 gHMC 샘플러의 최적의 $\delta$, $K$, $\eta$ 는 무엇인가?
• RQ3 부분적인 속도 재설정($\eta > 0$)이 전체 재설정($\eta = 0$)보다 조건수 $\kappa$ 기반으로 더 나은 수렴 속도를 제공하는가?
• RQ4 관성 항이 있는 gHMC의 스위치 기반 경사하강법 버전에서 차원에 종속되지 않는 수렴 속도를 확립할 수 있는가?
• RQ5 조정되지 않은 설정에서 gHMC의 수렴 속도가 고전적 HMC와 과소감쇠 랑주뱅과 비교해 어떻게 되는가?

주요 결과

• 가우시안 케이스에서 최적의 파라미터를 통해 수렴 속도 $\rho \simeq \frac{\delta'(1 + 1/\sqrt{\kappa})}{\pi} \ln\left(\frac{1}{\varepsilon'}\right)$ 를 달성하며, 부분 재설정을 통해 $1/\kappa$ 에서 $1/\sqrt{\kappa}$ 로 향상된다.
• 최적의 시간 간격은 $\delta' = \sqrt{8\varepsilon'}$ 이며, 단계 수는 $K = \left\lfloor \frac{\pi}{\delta'(1 + 1/\sqrt{\kappa})} \right\rfloor$ 이며, $\eta = \frac{1 - \sin(\pi/(1 + \sqrt{\kappa}))}{\cos(\pi/(1 + \sqrt{\kappa}))}$ 이다.
• 부분적인 속도 재설정은 $\kappa$ 에 대한 수렴 속도 의존성을 $1/\kappa$ 에서 $1/\sqrt{\kappa}$ 로 감소시켜, 불량 조건 문제에서 성능 향상에 크게 기여한다.
• 스위치 기반 경사하강법 버전에서는 로그-볼록 스무스 목표 함수 하에서 차원에 종속되지 않는 수렴 속도가 확립되었으며, 이는 차원 $d$ 와 무관하다.
• 실험 결과는 메트로폴리스 조정 gHMC 및 운동적 조각별 결정론적 마르코프 과정에서 부분 재설정이 성능 향상에 기여함을 확인한다.
• 기존의 위치 기반 HMC 및 과소감쇠 랑주뱅 분석 결과를 통합하여, 관성 항이 있는 HMC 및 일반적인 파라미터 선택으로 확장한다.