[논문 리뷰] Logsmooth Gradient Concentration and Tighter Runtimes for Metropolized Hamiltonian Monte Carlo

Yin Tat Lee, Ruoqi Shen외 1명|arXiv (Cornell University)|2020. 02. 10.

Markov Chains and Monte Carlo Methods참고 문헌 6인용 수 9

한 줄 요약

이 논문은 로그볼록 샘플링 영역에서 메트로폴리스라이즈드 힘의 양자역학 몽테카를로(HMC)의 혼합 시간 경계를 향상시키기 위해 로그스무쓰 기울기 농축 기법을 도입함으로써, 조건수 $\kappa$에 대한 선형 의존성이 필수적임을 증명하고, 런타임을 $\widetilde{\mathcal{O}}(\kappa d)$로 달성함으로써 최적화 이론에서 알려진 최고의 복잡도와 일치시키며 샘플링 알고리즘에 대한 이론적 이해의 격차를 해소한다.

ABSTRACT

We show that the gradient norm $\| abla f(x)\|$ for $x \sim \exp(-f(x))$, where $f$ is strongly convex and smooth, concentrates tightly around its mean. This removes a barrier in the prior state-of-the-art analysis for the well-studied Metropolized Hamiltonian Monte Carlo (HMC) algorithm for sampling from a strongly logconcave distribution. We correspondingly demonstrate that Metropolized HMC mixes in $ ilde{O}(κd)$ iterations, improving upon the $ ilde{O}(κ^{1.5}\sqrt{d} + κd)$ runtime of (Dwivedi et. al. '18, Chen et. al. '19) by a factor $(κ/d)^{1/2}$ when the condition number $κ$ is large. Our mixing time analysis introduces several techniques which to our knowledge have not appeared in the literature and may be of independent interest, including restrictions to a nonconvex set with good conductance behavior, and a new reduction technique for boosting a constant-accuracy total variation guarantee under weak warmness assumptions. This is the first high-accuracy mixing time result for logconcave distributions using only first-order function information which achieves linear dependence on $κ$; we also give evidence that this dependence is likely to be necessary for standard Metropolized first-order methods.

연구 동기 및 목표

• 로그볼록 설정에서 샘플링과 최적화 복잡도 사이의 이론적 격차를 해소하고, 특히 메트로폴리스라이즈드 HMC에 대해 이를 다루는 것.
• 메트로폴리스라이즈드 HMC의 혼합 시간이 최악의 경우 조건수 $\kappa$에 대해 선형적으로 의존해야 한다는 것을 입증하는 것.
• 고차 도함수의 경계 조건 없이 최소한의 부드러움 가정 하에 메트로폴리스라이즈드 HMC의 더 엄밀한 런타임 분석을 제공하는 것.
• 최적화와 샘플링의 통찰을 통합하여, $\widetilde{\mathcal{O}}(\kappa d)$ 런타임이 일阶 최적화에 대한 알려진 하한과 일치함을 보이는 것.
• 표준 단계 크기로 인해 조건수 $\kappa$가 클 경우 수렴 확률이 지수적으로 감소함을 보여주어 $\kappa$-의존성의 필요성을 정당화하는 것.

제안 방법

• 고차원 로그볼록 분포에서 기울기 행동을 제어하기 위해 새로운 기법인 '로그스무쓰 기울기 농축'을 도입한다.
• 한 단계의 루프프로시저를 사용한 메트로폴리스라이즈드 HMC 알고리즘을 분석하며, 에너지 변화를 추적하기 위해 힘의 양자역학적 해밀토니안 $\mathcal{H}(x,v) = \frac{1}{2}\|v\|^2 + f(x)$ 를 사용한다.
• 메트로폴리스라이즈드 HMC의 한 단계에서의 수용 확률에 하한을 도출하며, 최악의 경우 이차 잠재력 하에서 단계 크기 $\eta = c\kappa^{-1/2}$ 이고 $c > 40$ 이면 $c^6 d$ 에 따라 지수적으로 감소함을 보인다.
• 카이제곱 분포의 尾부 경계를 활용하여 고차원에서 $x$ 와 $v$ 의 일반적인 크기를 제어함으로써 확률적 농축 추론을 가능하게 한다.
• 이산적 메트로폴리스라이즈드 HMC 를 연속시간 이상의 이상 HMC 모델로 환원하며, 이전 연구에서 알려진 이완 시간 경계를 활용한다.
• 수용 확률 하한과 기하학적 추론을 조합하여 혼합에 $\Omega(\kappa)$ 단계가 필요함을 보이며, $\kappa$-의존성의 필수성을 입증한다.

실험 결과

연구 질문

• RQ1 메트로폴리스라이즈드 HMC 의 혼합 시간에서의 $\kappa$-의존성은 필수적인가, 아니면 최적화에서처럼 $\sqrt{\kappa}$ 로 개선될 수 있는가?
• RQ2 최악의 초기 조건 하에서 메트로폴리스라이즈드 HMC 의 수용 확률은 하한으로 제한될 수 있는가, 아니면 차원이 증가함에 따라 지수적으로 감소하는가?
• RQ3 표준 단계 크기 $\eta = \Theta(\kappa^{-1/2})$ 는 고차원 이차 목표 함수에서 낮은 수용률로 인해 악성 혼합을 유도하는가?
• RQ4 메트로폴리스라이즈드 HMC 의 혼합 시간이 $\widetilde{\mathcal{O}}(\kappa d)$ 로 경계될 수 있는가, 이는 일阶 최적화에서 알려진 복잡도와 일치하는가?
• RQ5 로그볼록 영역에서 샘플링과 최적화 복잡도 사이에 근본적인 격차가 존재하는가, 만약 그렇다면 메트로폴리스라이즈드 HMC 프레임워크를 통해 이를 입증할 수 있는가?

주요 결과

• 메트로폴리스라이즈드 HMC 의 혼합 시간은 $\widetilde{\mathcal{O}}(\kappa d)$ 로 경계되며, 일阶 최적화에서 알려진 최고의 복잡도와 일치한다.
• 하한이 도출되어, $\eta = c\kappa^{-1/2}$ 이고 $c > 40$ 이면 한 단계에서의 수용 확률이 최대 $\exp(-\Omega(c^6 d))$ 이며, 수렴에 $\Omega(\kappa)$ 단계가 필요함을 의미한다.
• 논문은 혼합 시간에서 $\kappa$-의존성이 필수적임을 입증하여 샘플링과 최적화 간의 복잡도 격차에 대한 오랫동안 열려 있던 질문을 해결한다.
• 조건수 $\kappa$ 를 가진 최악의 이차 잠재력에 대해, 단계 크기 $\eta = O(\kappa^{-1/2})$ 를 가진 이상 HMC 의 이완 시간은 $\Omega(\kappa)$ 이며, $\kappa$-스케일링의 필수성을 확인한다.
• 로그스무쓰 기울기 농축 기법은 고차원에서 기울기 변동성을 더 엄밀하게 제어할 수 있게 하여 에너지 변화에 대한 차원 의존 경계 유도를 가능하게 한다.
• 분석 결과 표준 단계 크기로 인해 조건수 $\kappa$ 가 클 경우 고차원에서 수용 확률이 지수적으로 감소함을 보여주며, $\kappa$-의존적 런타임의 필요성을 정당화한다.