[논문 리뷰] Rapid Convergence of the Unadjusted Langevin Algorithm: Log-Sobolev Suffices.

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|2019. 03. 20.

Markov Chains and Monte Carlo Methods인용 수 8

한 줄 요약

이 논문은 목표 밀도 $e^{-f}$가 로그 소볼레프 부등식을 만족하고 $f$의 헤시안 행렬이 유계임을 최소한의 조건으로 가정할 때, 비조정 랭게빈 알고리즘(UA)의 빠른 수렴을 확립한다. 주요 기여는 $f$의 볼록성이나 고차 미분 가능성 조건 없이도 총변동 거리에서 수렴 보장을 제공한다는 점으로, ULA의 적용 가능 범위를 크게 넓힌다.

ABSTRACT

We prove a convergence guarantee on the unadjusted Langevin algorithm for sampling assuming only that the target distribution $e^{-f}$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. In particular, $f$ is not required to be convex or have higher derivatives bounded.

연구 동기 및 목표

• 목표 분포에 대한 약한 가정 조건 하에서 비조정 랭게빈 알고리즘의 수렴 보장을 확립하기 위해.
• ULA 수렴 분석에서 볼록성 또는 고차 도함수의 유계성 조건이 필요 없도록 제거하기 위해.
• 로그 소볼레프 부등식과 함께 $f$의 헤시안 행렬이 유계일 경우에만 충분히 빠른 수렴이 보장됨을 보여주기 위해.

제안 방법

• 수렴을 제어하기 위한 핵심 기능 부등식으로 목표 분포 $e^{-f}$의 로그 소볼레프 부등식을 활용한다.
• 총변동 거리의 상한을 구하기 위해 커플링 추론을 사용한다.
• $f$의 유계 헤시안은 이산화 오차를 제어하기 위한 충분한 정규성을 보장한다.
• 강한 볼록성이나 고차 미분 가능성에 의존하지 않고, 로그 소볼레프 상수와 헤시안 유계 조건 간의 상호작용을 활용한다.
• 연속시간 랭게빈 확산의 드리프트 및 확산 분해를 사용하여 이산화 오차의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 잠재 에너지 함수의 볼록성이 없이도 비조정 랭게빈 알고리즘이 빠르게 수렴할 수 있는가?
• RQ2 고차 도함수가 무한대일 수 있는 상황에서도 로그 소볼레프 부등식만으로 ULA의 수렴을 보장할 수 있는가?
• RQ3 여전히 ULA의 빠른 수렴을 보장하기 위한 $f$에 대한 최소 정규성 조건은 무엇인가?
• RQ4 함수 $f$의 헤시안 유계 조건이 로그 소볼레프 조건과 어떻게 상호작용하여 이산화 오차를 제어하는가?

주요 결과

• 비조정 랭게빈 알고리즘은 로그 소볼레프 상수와 헤시안 유계 조건에 다항적으로 의존하는 총변동 거리에서 수렴한다.
• 볼록성 조건 없이도, 고차 도함수가 무한대일 수 있는 경우에도 수렴이 보장된다.
• 헤시안 행렬이 유계일 경우, 로그 소볼레프 부등식만으로도 수렴 속도를 제어할 수 있다.
• 이전 연구에서 일반적으로 요구하던 강한 볼록성 또는 제3도 도함수의 유계성 조건보다 더 약한 조건 하에서도 수렴 보장을 달성한다.