[논문 리뷰] Slice Sampling with Adaptive Multivariate Steps: The Shrinking-Rank Method

Madeleine B. Thompson, Radford M. Neal|arXiv (Cornell University)|2010. 11. 22.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 7

한 줄 요약

Shrinking-rank 방법은 기각된 점에서 로그 밀도의 기울기와 수직인 제안 부분공간을 적응적으로 축소시켜, 상관관계가 높은 다변량 분포에서 혼합 속도를 향상시키는 슬라이스 샘플링 알고리즘입니다. 반복적으로 슬라이스의 가장 긴 축에 맞추어 제안 분포를 정밀화함으로써, 특히 고차원이고 상관관계가 높은 설정에서 적응형 메트로폴리스와 t-walk보다 더 빠른 수렴 속도와 낮은 자기상관을 달성합니다.

ABSTRACT

The shrinking rank method is a variation of slice sampling that is efficient at sampling from multivariate distributions with highly correlated parameters. It requires that the gradient of the log-density be computable. At each individual step, it approximates the current slice with a Gaussian occupying a shrinking-dimension subspace. The dimension of the approximation is shrunk orthogonally to the gradient at rejected proposals, since the gradients at points outside the current slice tend to point towards the slice. This causes the proposal distribution to converge rapidly to an estimate of the longest axis of the slice, resulting in states that are less correlated than those generated by related methods. After describing the method, we compare it to two other methods on several distributions and obtain favorable results.

연구 동기 및 목표

• 매개변수가 상호 상관관계가 높거나 척도가 다를 경우 마르코프 체인 몬테카를로(MCMC) 방법에서 혼합 속도가 느려지는 문제를 해결합니다.
• 로컬 밀도 기하학에 기반한 기울기 정보를 활용해 제안 분포를 적응적으로 조정하는 슬라이스 샘플링 변종을 개발합니다.
• 기존의 적응형 MCMC 방법이 어려움을 겪는 고차원이고 상관관계가 높은 분포에서 샘플링 효율을 향상시킵니다.
• 회전 및 이동에 대해 불변이며, 척도에 대해 거의 불변이 되도록 보장하여 다양한 매개변수화에 대한 강건성을 향상시킵니다.
• 어려운 사후 분포에서 기존의 적응형 MCMC 방법들인 적응형 메트로폴리스와 t-walk에 대한 확장 가능하고 강건한 대안을 제공합니다.

제안 방법

• 슬라이스 샘플링의 크럼프 프레임워크를 사용하며, 크럼프는 현재 상태 중심의 가우시안에서 추출되고, 제안은 이전 크럼프에 가중치를 부여한 분포에서 추출됩니다.
• 초기 크럼프와 제안은 표준편차 σc인 구형 가우시안에서 추출되며, 수용이 발생하지 않으면 이 값은 적응적으로 감소합니다.
• 기각된 제안 이후, 기각된 점에서의 로그 밀도 기울기를 현재 부분공간 J의 영공간에 투영하여 기존 제약 조건과 수직인 방향을 식별합니다.
• 투영된 기울기와 전체 기울기 사이의 각도가 60°를 초과하면, 정규화된 투영된 기울기를 새로운 열로 추가하여 부분공간 J를 확장함으로써 제안이 슬라이스의 가장 긴 축과 일치하도록 합니다.
• 제안 분포는 모든 이전 크럼프의 정밀도 행렬의 합과 동일한 정밀도 행렬을 사용하여 업데이트되며, 이는 상세한 균형과 슬라이스 상의 균일 분포에 대한 불변성을 보장합니다.
• 이 방법은 기울기와 수직인 부분공간으로 제약을 두어 제안 공간의 차원을 동적으로 감소시킴으로써(즉, 랭크 축소), 상관관계가 높은 공간에서의 효율성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 기울기 정보를 기반으로 제안 부분공간을 적응적으로 축소하는 슬라이스 샘플링 방법이 상관관계가 높은 다변량 분포에서 더 나은 혼합 속도를 달성할 수 있는가?
• RQ2 다양한 상관관계가 높고 고차원적인 대상에서 shrinking-rank 방법이 적응형 메트로폴리스와 t-walk에 비해 효율성과 강건성 면에서 어떻게 비교되는가?
• RQ3 기울기가 기각된 점에서 슬라이스 쪽을 신뢰성 있게 향하지 않는 비대칭 분포에서는 이 방법의 성능이 얼마나 떨어지는가?
• RQ4 기타 적응형 MCMC 샘플러들과 비교해 이 방법은 차원 증가에 따라 어떻게 확장되는가?
• RQ5 σc와 θ와 같은 조정 파라미터가 이 방법의 수렴 속도와 자기상관 시간에 미치는 영향은 어떠한가?

주요 결과

• 조건수 2800인 상관관계가 매우 높은 다변량 정규분포 대상에서 shrinking-rank 방법은 t-walk와 적응형 메트로폴리스보다 독립 관측값당 로그 밀도 평가 수를 크게 줄였습니다.
• 25개 매개변수를 가진 독일 신용 베이지안 로지스틱 회귀에서 shrinking-rank 방법은 적응형 메트로폴리스와 유사한 성능을 보였고, 특히 조정 파라미터가 잘 설정된 경우 t-walk를 능가했습니다.
• 로그 미적용 가우시안 프로세스 회귀에서는 성능이 열 劣하였지만, 매개변수에 로그 변환을 적용한 후 성능이 크게 향상되어 비타원형 목표 분포 형태에 민감함을 보여주었습니다.
• 차원이 2, 20, 200인 고차원 감마 분포(Gamma(2,1)) 대상에서 shrinking-rank 방법은 차원에 대해 거의 선형적으로 확장되었으며, 차원이 10배 증가할 때 약 10배의 함수 평가 수 증가를 보였고, 이는 적응형 메트로폴리스와 유사했습니다.
• t-walk는 고차원 설정에서 효과적으로 확장되지 못했으며, 200차원 감마 대상에서 빈약한 성능을 보였지만, shrinking-rank 방법과 적응형 메트로폴리스는 합리적인 효율성을 유지했습니다.
• 이 방법은 회전 및 이동에 대해 불변이며, 거의 척도 불변이므로 재매개변수화에 대해 강건하며, 적응형 메트로폴리스가 전역 제안 공분산을 구축하는 데 반해 각 반복에서 국소적으로 적응합니다.