[논문 리뷰] The No-U-turn sampler: adaptively setting path lengths in Hamiltonian Monte Carlo

Matthew D. Homan, Andrew Gelman|arXiv (Cornell University)|2014. 01. 01.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 3,275

한 줄 요약

No-U-Turn Sampler (NUTS)는 수동으로 설정한 단계 수 L과 실시간으로 단계 크기 e를 적응시키는 것을 제거하여 하이퍼메트릭 몬테카를로(Hamiltonian Monte Carlo, HMC)를 자동화한다. 경로가 다시 돌아오는 순간을 감지하기 위해 재귀적 트리 성장 알고리즘을 사용함으로써, 조정이 필요 없는 효율적인 추론을 달성한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) algorithm that avoids the random walk behavior and sensitivity to correlated parameters that plague many MCMC methods by taking a series of steps informed by first-order gradient information. These features allow it to converge to high-dimensional target distributions much more quickly than simpler methods such as random walk Metropolis or Gibbs sampling. However, HMC's performance is highly sensitive to two user-specified parameters: a step size e and a desired number of steps L. In particular, if L is too small then the algorithm exhibits undesirable random walk behavior, while if L is too large the algorithm wastes computation. We introduce the No-U-Turn Sampler (NUTS), an extension to HMC that eliminates the need to set a number of steps L. NUTS uses a recursive algorithm to build a set of likely candidate points that spans a wide swath of the target distribution, stopping automatically when it starts to double back and retrace its steps. Empirically, NUTS performs at least as efficiently as (and sometimes more effciently than) a well tuned standard HMC method, without requiring user intervention or costly tuning runs. We also derive a method for adapting the step size parameter e on the fly based on primal-dual averaging. NUTS can thus be used with no hand-tuning at all, making it suitable for applications such as BUGS-style automatic inference engines that require efficient turnkey samplers.

연구 동기 및 목표

• HMC의 성능이 사용자가 지정한 매개변수 L(단계 수)과 ε(단계 크기)에 민감한 문제를 해결하기 위해.
• 기존에는 랜덤 워크 행동이나 낭비된 계산을 유발하는 HMC에서 단계 수 L에 대한 수동 조정이 필요 없는 것을 제거하기 위해.
• 원시-쌍대 평균 기반 방법을 사용해 샘플링 중 단계 크기 ε를 자동으로 적응시키는 메커니즘을 개발하기 위해.
• BUGS와 같은 자동화된 추론 엔진에 적합한 조정 없이도 사용 가능한 턴키 MCMC 샘플러를 만들기 위해.

제안 방법

• NUTS는 HMC 경로를 앞뒤로 동시에 확장하는 재귀적 트리 구축 알고리즘을 사용한다. 각 단계에서 경로 길이를 두 배로 늘린다.
• 알고리즘은 경로가 스스로의 궤적을 되돌아가기 시작할 때 멈추며, 이는 궤적의 각운동량 방향이 뒤바뀌는지 확인함으로써 감지된다.
• 경로가 이미 지나간 길을 다시 따라가기 시작했는지 판단하기 위해, 궤적 양단의 위치와 운동량 간의 차이를 기반으로 한 기준을 사용한다.
• 단계 크기 ε는 원시-쌍대 평균 기법을 사용해 실시간으로 적응시키며, 이는 시간이 지남에 따라 안정적이고 수렴하는 조정 스케줄을 유지한다.
• 샘플링을 위해 레프로그 적분기를 통합하여 하이퍼메트릭 역학을 시뮬레이션하고, 기울기 정보를 활용해 제안 분포를 안내한다.
• 동역학이 목표 분포의 불변성을 유지함으로써, 상세 균형과 정상 분포가 정확하게 유지된다.

실험 결과

연구 질문

• RQ1 사용자가 단계 수 L을 수동으로 조정할 필요가 없는 완전히 자동화된 HMC 샘플러를 설계할 수 있는가?
• RQ2 샘플링 중 단계 크기 ε를 어떻게 적응적으로 조정할 수 있는가? 이는 효율성과 수렴성을 유지하기 위함이다.
• RQ3 탐색의 효율성이 감소하는 지점에 도달했음을 자동으로 감지할 수 있는 정지 기준을 개발할 수 있는가?
• RQ4 고차원 목표 분포에서 잘 튜닝된 표준 HMC와 비교해 NUTS 샘플러의 효율성이 동일하거나 이를 초월할 수 있는가?
• RQ5 BUGS와 같은 자동화된 추론 시스템에 사용자 설정 없이도 플러그인 대체로 사용할 수 있는가?

주요 결과

• NUTS는 적응적인 경로 길이 선택 덕분에 잘 튜닝된 표준 HMC와 비슷하거나 더 효율적으로 작동한다.
• 알고리즘이 경로가 다시 돌아가기 시작할 때 자동으로 종료되어 수동으로 L을 지정할 필요가 없다.
• 원시-쌍대 평균 기법을 통한 단계 크기 조정은 고비용 校정 런이 필요 없이 안정적이고 수렴하는 조정 스케줄을 보장한다.
• 실험 결과에 따르면 NUTS는 사용자 간섭 없이도 고차원 목표 분포의 효율적 탐색을 달성한다.
• 상세 균형과 정상 분포가 유지되어 유효한 베이지안 추론이 보장된다.
• NUTS는 자동화된 추론 엔진에 통합하기 적합하여 효율적인 턴키 MCMC 샘플링을 가능하게 한다.