[논문 리뷰] Geometric convergence of elliptical slice sampling

Viacheslav Natarovskii, Daniel Rudolf외 1명|arXiv (Cornell University)|2021. 05. 07.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 5

한 줄 요약

이 논문은 사후 밀도에 대한 약한 정규성 조건 하에서 타원형 슬라이스 샘플러의 기하적 에르고딕성을 확립하며, 조정 없이도 거의 확실히 목표 분포로 수렴함을 증명한다. 이 방법은 슬라이스 샘플링과 타원형 샘플링을 결합하여 복잡한 사후 기하학적 구조를 효율적으로 탐색하며, 이론적 보장과 실증적 증거를 통해 이론의 범위를 초월하여 차원에 독립적인 성능을 보인다.

ABSTRACT

For Bayesian learning, given likelihood function and Gaussian prior, the elliptical slice sampler, introduced by Murray, Adams and MacKay 2010, provides a tool for the construction of a Markov chain for approximate sampling of the underlying posterior distribution. Besides of its wide applicability and simplicity its main feature is that no tuning is necessary. Under weak regularity assumptions on the posterior density we show that the corresponding Markov chain is geometrically ergodic and therefore yield qualitative convergence guarantees. We illustrate our result for Gaussian posteriors as they appear in Gaussian process regression, as well as in a setting of a multi-modal distribution. Remarkably, our numerical experiments indicate a dimension-independent performance of elliptical slice sampling even in situations where our ergodicity result does not apply.

연구 동기 및 목표

• 베이지안 추론에서 널리 사용되는 샘플링 방법인 타원형 슬라이스 샘플러에 대한 이론적 수렴 보장을 확립하기 위해.
• 샘플러가 생성하는 마르코프 체인이 기하적 에르고딕성이 되는 데 필요한 충분한 조건을 규명하기 위해.
• 알고리즘의 수렴 행동에 대한 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 이론적 제약에도 불구하고 수치적으로 관찰된 차원에 독립적인 성능을 탐구하기 위해.

제안 방법

• 표준 일반 상태 공간 마르코프 체인 이론을 사용하여 기하적 에르고디시티를 증명하기 위해 리아푸노프 함수를 구성하고, 소작(소작 집합)을 식별한다.
• 코사인과 사인으로 매개변수화된 타원형 호에 기반한 전이 핵함수를 사용하여 매개변수 공간을 효율적으로 탐색한다.
• 가우시안 사전 분포의 구조를 유지하는 제안 메커니즘과 슬라이스 샘플링을 결합하여 조정이 필요 없도록 한다.
• 로지스틱 회귀와 같은 확률 밀도 함수가 뚜렷한 꼬리 또는 비감소 꼬리 구조를 가질 경우의 적용 범위를 넓히기 위해 '꼬리 이동(tail-shift)' 수정을 도입한다.
• 이론적 분석은 밀도 함수의 약한 유계성과 꼬리 감쇠 조건에 기반하며, 기하적 드리프트 존재를 보장한다.
• 수치 실험은 타원형 슬라이스 샘플러를 표준 슬라이스 샘플링 및 메트로폴리스-해스팅스 방법과 비교하여 수렴성과 효율성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 타원형 슬라이스 샘플러가 어떤 조건에서 기하적 에르고딕성이 되는가?
• RQ2 꼬리 또는 비감소 꼬리가 있는 비정규 사후 분포에 대해서도 기하적 에르고딕성이 증명될 수 있는가?
• RQ3 이론적 제약에도 불구하고 타원형 슬라이스 샘플러가 실무에서 왜 차원에 독립적인 성능을 보이는가?
• RQ4 꼬리 감쇠 조건을 위반하는 밀도 함수를 다룰 수 있도록 이론 프레임워크를 어떻게 확장할 수 있는가?
• RQ5 '꼬리 이동' 수정이 타겟 분포를 유지하면서도 이론적 수렴 보장을 유지할 수 있는가?

주요 결과

• 타원형 슬라이스 샘플러는 밀도 함수의 연속성, 엄밀한 양성, 충분한 꼬리 감쇠 조건이 만족될 경우 약한 정규성 조건 하에서 기하적 에르고딕성이 보장된다.
• 표준 마르코프 체인 이론의 정리에 기반하여 리아푸노프 함수와 소작을 통해 기하적 에르고딕성이 증명된다.
• 조정이 필요 없으며, 가우시안 프로세스나 다모달 사후 분포를 포함한 다양한 모델에서 양호한 성능 유지를 한다.
• 수치 실험 결과, 이론적 조건이 만족되지 않는 설정에서도 샘플러가 차원에 독립적인 통계적 효율성을 달성함을 보였다.
• '꼬리 이동' 수정은 밀도 함수에 지수 꼬리를 도입함으로써 로지스틱 회귀에 이론적 적용을 가능하게 하며, 사후 분포를 유지한다.
• 이론적 보장이 없더라도 성능이 양호하므로, 꼬리 감쇠 조건이 위반된 경우에도 알고리즘이 효과적으로 작동함을 확인하였다.