[논문 리뷰] Convergence Rates for Hierarchical Gibbs Samplers

Oliver Jovanovski, Neal Madras|arXiv (Cornell University)|2014. 02. 19.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 3

한 줄 요약

이 논문은 깊이 3 또는 4인 베이지안 계층 모델에서 감마 사후분포를 대상으로 하는 계층적 깁스 샘플러에 대해 기하 수렴 속도를 확립한다. 커플링 기법과 확률적 단조성의 활용으로 평형 상태까지의 총 변동 거리에 대한 경계를 도출하여, 현실적인 매개변수 설정 하에서 수백만 번의 반복 이내에 수렴함을 보이며, 보조 과정과 순간 경계를 통해 명시적인 정량적 수렴 속도를 유도한다.

ABSTRACT

We establish some results for the rate of convergence in total variation of a Gibbs sampler to its equilibrium distribution. This sampler is motivated by a hierarchical Bayesian inference construction for a gamma random variable. Our results apply to a wide range of parameter values in the case that the hierarchical depth is 3 or 4, and are more restrictive for depth greater than 4. Our method involves showing a relationship between the total variation of two ordered copies of our chain and the maximum of the ratios of their respective co-ordinates. We construct auxiliary stochastic processes to show that this ratio does converge to 1 at a geometric rate.

연구 동기 및 목표

• 감마 사후분포를 대상으로 하는 계층적 깁스 샘플러의 총 변동 수렴 속도에 대한 엄밀한 상한을 설정하는 것.
• 4차원 상태공간에서 홀수 및 짝수 좌표를 순차적으로 갱신하는 깁스 샘플러의 수렴 행동을 분석하는 것.
• n=3의 경우로 분석을 확장하여 동일한 수렴 성질을 보이며 동역학이 단순화됨을 보이는 것.
• 커플링 및 순간 기반 부등식을 활용해 수렴 속도에 대한 명시적 정량적 경계를 도출하는 것.
• 감마 사전분포를 가진 계층 모델에서 MCMC 샘플링의 실용적 수렴 임계값을 제공하는 것.

제안 방법

• 조건부 감마 분포를 이용해 좌표 순서 1,3,2,4로 갱신하는 깁스 샘플러를 구성하는 것.
• 독립 동일분포 감마 분포를 가진 창발을 활용해 마코프 체인의 동역학을 반복적 랜덤 함수로 표현하는 것.
• 두 개의 커플드 체인에서 대응 좌표의 비율을 추적하기 위해 보조 확률 과정을 도입하는 것.
• 커플링 추론을 적용해 좌표 비율이 기하 수렴 속도로 1로 수렴함을 보여 기하 에르고딕성을 의미하는 것.
• 순간 경계와 정지 시간 추론을 활용해 기대 비율을 제어하고 수렴 속도 상수를 도출하는 것.
• 확률적 단조성과 부분 분수 분해를 활용해 E[(γ₂/γ₄ + γ₄/γ₂)(γ₃/(γ₂+γ₄))]와 같은 핵심 기대값을 계산하는 것.

실험 결과

연구 질문

• RQ1 깊이 4인 감마 사후분포를 대상으로 하는 계층적 깁스 샘플러의 총 변동 수렴 속도는 얼마인가요?
• RQ2 고차원 계층 모델에 대해 커플링 기법을 어떻게 활용해 기하 수렴을 확립할 수 있나요?
• RQ3 유한한 순간과 기하 에르고딕성을 보장하기 위해 형태 매개변수에 어떤 조건이 필요한가요?
• RQ4 수렴 속도는 모델 매개변수, 특히 형태 및 척도 매개변수에 어떻게 의존합니까?
• RQ5 깊이 3의 경우에도 유사한 수렴 경계를 도출할 수 있으며, 이는 깊이 4의 경우와 어떻게 비교될 수 있나요?

주요 결과

• n=4인 경우, 평형 상태까지의 총 변동 거리는 기하 수렴하며, dTV(Ut+3, π) ≤ 31,065 × (1 − 3/4356)^(t/40) + (1 + 59/20) × (7/9)^(⌊t/2⌋+3)로 표현되며, 이는 t ≥ 1,050,000일 때 dTV ≤ 10⁻⁵임을 의미한다.
• n=3인 경우, 수렴 경계는 dTV(Ut+2, π) ≤ 600 × (1 − 78/79)^(t/20) + 6 × (7/9)^(⌊t/2⌋+3)로 주어지며, 이는 t ≥ 14,000일 때 dTV ≤ 10⁻⁵임을 의미한다.
• 수렴 속도는 기대 비율의 순간 경계와 정지 시간 제어로부터 유도된 수축 인자 r < 1에 의해 결정된다.
• 이 방법은 두 체인의 좌표 비율이 기하 수렴 속도로 1로 수렴하는 커플링을 구성함으로써 빠른 혼합을 보장하는 데 의존한다.
• β ≤ 7/9 및 r ≤ 1 − 3/4356와 같은 핵심 상수들은 매개변수에 의존하는 순간 기대값과 부분 분수 분해로부터 도출된다.
• 분석 결과, a₁ + a₄ > 1 및 a₂ + a₃ > 1 조건 하에 기하 에르고딕성이 성립함을 확인하였으며, 이는 핵심 비율의 적분 가능성 보장을 한다.