[논문 리뷰] Slice Sampling

Radford M. Neal|arXiv (Cornell University)|2000. 09. 07.

Bayesian Methods and Mixture Models인용 수 1,178

한 줄 요약

이 논문은 밀도 곡선 아래 영역에서 균일하게 샘플링하는 방식으로 단변량 및 다변량 분포에서 적응적으로 샘플링하는 마르코프 체인 몬테카를로(MCMC) 방법인 슬라이스 샘플링을 소개한다. 슬라이스 내에서 수직과 수평의 샘플링을 번갈아가며 수행함으로써 수동 조정이 필요 없이 목표 분포를 효율적으로 탐색할 수 있으며, 적응적 단계 크기 선택과 랜덤 워크 행동 감소 덕분에 많은 경우 기존의 지브스 및 메트로폴리스 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Markov chain sampling methods that automatically adapt to characteristics of the distribution being sampled can be constructed by exploiting the principle that one can sample from a distribution by sampling uniformly from the region under the plot of its density function. A Markov chain that converges to this uniform distribution can be constructed by alternating uniform sampling in the vertical direction with uniform sampling from the horizontal `slice' defined by the current vertical position, or more generally, with some update that leaves the uniform distribution over this slice invariant. Variations on such `slice sampling' methods are easily implemented for univariate distributions, and can be used to sample from a multivariate distribution by updating each variable in turn. This approach is often easier to implement than Gibbs sampling, and more efficient than simple Metropolis updates, due to the ability of slice sampling to adaptively choose the magnitude of changes made. It is therefore attractive for routine and automated use. Slice sampling methods that update all variables simultaneously are also possible. These methods can adaptively choose the magnitudes of changes made to each variable, based on the local properties of the density function. More ambitiously, such methods could potentially allow the sampling to adapt to dependencies between variables by constructing local quadratic approximations. Another approach is to improve sampling efficiency by suppressing random walks. This can be done using `overrelaxed' versions of univariate slice sampling procedures, or by using `reflective' multivariate slice sampling methods, which bounce off the edges of the slice.

연구 동기 및 목표

• 수동 조정이 필요 없는 제안 분포를 갖는 자가 적응형 MCMC 샘플링 방법을 개발한다.
• 메트로폴리스 및 지브스 샘플링과 같은 표준 MCMC 방법에서의 랜덤 워크 행동의 비효율성을 해결한다.
• 수렴성과 믹싱 향상을 위해 국소 밀도 특성에 기반한 자동 단계 크기 조정을 가능하게 한다.
• 국소 근사치를 사용하여 변수를 순차적 또는 동시에 업데이트하는 방식으로 다변량 설정으로 방법을 확장한다.
• 반사 및 오버리액티드 변형을 통해 랜덤 워크 행동을 감소시켜 샘플링 효율성을 향상시킨다.

제안 방법

• 현재 밀도 값으로 정의된 슬라이스 내에서 수직 및 수평의 균일 샘플링을 번갈아가며 밀도 함수 아래 영역에서 균일하게 샘플링한다.
• 스ライ스 위의 균일 분포로 수렴하는 마르코프 체인을 구성하여 세부 균형 조건과 불변성을 확보한다.
• 일변량 슬라이스 샘플링을 기본 구성 요소로 사용하여 다른 변수를 조건부로 고려하면서 한 변수씩 업데이트한다.
• 변수 간의 의존성을 포착하기 위해 국소 2차 근사치를 사용하여 모든 변수를 동시에 업데이트하는 방식으로 다변량 슬라이스 샘플링을 구현한다.
• 반사 이동을 도입하여 일변량 업데이트에서 랜덤 워크 행동을 감소시키는 오버리액티드 변형을 적용한다.
• 스라이스 경계에서 샘플러를 반사시켜 탐색을 향상시키는 다변량 설정에서의 반사 슬라이스 샘플링을 구현한다.

실험 결과

연구 질문

• RQ1 수동 조정 없이 목표 밀도의 국소 기하학적 특성에 적응하여 단계 크기를 자동으로 조정할 수 있는 샘플링 방법을 설계할 수 있는가?
• RQ2 슬라이스 샘플링을 다변량 분포로 확장할 경우 효율성과 수렴성을 유지할 수 있는가?
• RQ3 오버리액티드 및 반사 변형이 슬라이스 샘플링에서 랜덤 워크 행동을 어느 정도 감소시킬 수 있는가?
• RQ4 다변량 슬라이스 샘플링에서 국소 2차 근사치가 변수 간 의존성을 효과적으로 모델링하고 믹싱을 향상시킬 수 있는가?
• RQ5 실제 적용에서 슬라이스 샘플링은 지브스 및 메트로폴리스-하스팅스 샘플링에 비해 효율성과 강건성 면에서 어떻게 비교되는가?

주요 결과

• 슬라이스 샘플링은 목표 밀도의 기하학적 특성을 활용하여 단계 크기의 자동 적응을 달성함으로써 수동 조정이 필요 없어진다.
• 적응적 단계 크기 선택 덕분에 표준 메트로폴리스 업데이트보다 우수하며, 랜덤 워크 행동 감소로 인해 종종 지브스 샘플링보다 더 효율적이다.
• 오버리액티드 및 반사 변형은 랜덤 워크 행동을 크게 감소시켜 믹싱과 수렴 속도를 향상시킨다.
• 동시 업데이트를 통해 국소 2차 근사치를 활용한 다변량 슬라이스 샘플링은 국소 의존성을 적응적으로 반영할 수 있다.
• 순차적 및 동시 업데이트 전략은 일변량 및 다변량 목표에 모두 유연하고 효율적인 샘플링을 제공한다.
• 강건성과 구현 용이성 덕분에 이 방법은 routine하고 자동화된 베이지안 추론에 매우 적합하다.