[논문 리뷰] Optimal Scaling of Random-Walk Metropolis Algorithms on General Target Distributions

Jun Yang, Gareth O. Roberts외 1명|arXiv (Cornell University)|2019. 04. 27.

Markov Chains and Monte Carlo Methods참고 문헌 57인용 수 4

한 줄 요약

이 논문은 베이지안 통계에서 일반적인 고차원 대상 분포에 대해 랜덤 워크 메트로폴리스 알고리즘의 최적 스케일링을 확립하며, 이전 연구에서 제한적인 i.i.d. 곱 구조 가정을 초월하는 현실적이고 검증 가능한 조건 하에서 渐近적으로 최적의 수용률 0.234를 달성할 수 있음을 보여준다. 결과는 확산 근사 근사를 통해 도출되며, 종속된 좌표와 비정규 대상 분포를 가진 모델에 적용 가능하다.

ABSTRACT

One main limitation of the existing optimal scaling results for Metropolis--Hastings algorithms is that the assumptions on the target distribution are unrealistic. In this paper, we consider optimal scaling of random-walk Metropolis algorithms on general target distributions in high dimensions arising from practical MCMC models from Bayesian statistics. For optimal scaling by maximizing expected squared jumping distance (ESJD), we show the asymptotically optimal acceptance rate $0.234$ can be obtained under general realistic sufficient conditions on the target distribution. The new sufficient conditions are easy to be verified and may hold for some general classes of MCMC models arising from Bayesian statistics applications, which substantially generalize the product i.i.d. condition required in most existing literature of optimal scaling. Furthermore, we show one-dimensional diffusion limits can be obtained under slightly stronger conditions, which still allow dependent coordinates of the target distribution. We also connect the new diffusion limit results to complexity bounds of Metropolis algorithms in high dimensions.

연구 동기 및 목표

• 랜덤 워크 메트로폴리스 알고리즘의 최적 스케일링 이론을 이전 연구에서 제한적인 i.i.d. 곱 목표 분포 가정을 초월하여 확장하기 위해.
• 고차원 목표 분포에 대해 최적 수용률 0.234가 성립하는 일반적이고 검증 가능한 충분조건을 규명하기 위해.
• 종속된 목표 분포에 대해 약간 더 강한 조건이지만 여전히 현실적인 조건 하에서 RWM의 1차원 확산 근사를 도출하기 위해.
• 확산 근사 결과를 고차원에서 MCMC 알고리즘의 복잡도 한계와 연결하기 위해.
• 계층적 및 그래픽 모델과 같은 비-i.i.i.d. 구조를 가진 실용적 베이지안 모델에서 이론을 검증하기 위해.

제안 방법

• 일반적인 목표 분포 하에서 기대 제곱 점프 거리(ESJD)를 최대화함으로써 최적 스케일링을 유도한다.
• 종속된 좌표를 허용할 수 있는 검증이 용이한 새로운 충분조건(A1–A5)을 도입한다.
• 조금 더 강한 조건 버전 하에서 1차원 확산 근사를 확립함으로써 수렴 속도의 점근적 분석을 가능하게 한다.
• 형평한 집합의 수열과 농도 불등식을 사용하여 꼬리 확률을 통제하고 확산 근사 수렴을 보장한다.
• 계층적 및 그래픽 모델에 이 프레임워크를 적용하며, 조건부 분포와 로그 밀도 기울기를 통해 조건을 검증한다.
• 확률적 경계와 모멘트 조건(예: m=5)을 활용하여 꼬리 확률의 합산 가능성을 보장하고 거의 확실 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 목표 분포에 대해 어떤 일반적인 조건 하에서 랜덤 워크 메트로폴리스 알고리즘의 최적 수용률 0.234가 성립하는가?
• RQ2 목표 분포가 종속된 좌표를 가질 경우 RWM에 대해 1차원 확산 근사를 확립할 수 있는가?
• RQ3 새로운 충분조건는 전통적인 i.i.d. 곱 가정에 비해 실제 베이지안 모델 적용 가능성에서 어떻게 비교되는가?
• RQ4 확산 근사와 RWM의 고차원에서의 계산 복잡도 사이의 관계는 무엇인가?
• RQ5 이 이론적 프레임워크는 비-i.i.i.d. 구조를 가진 실용적 베이지안 계층 모델에 적용 가능한가?

주요 결과

• 랜덤 워크 메트로폴리스 알고리즘에 대해 점근적으로 최적의 수용률 0.234는 i.i.d. 또는 곱의 구조를 요구하지 않는 일반적이고 검증 가능한 조건 하에서 달성된다.
• 충분조건(A1–A5)는 검증이 용이하며, 종속된 좌표를 가진 계층적 및 그래픽 모델을 포함한 여러 베이지안 모델 클래스에서 성립한다.
• 조금 더 강한 조건이지만 여전히 현실적인 조건 하에서 1차원 확산 근사가 확립되어 수렴 속도의 점근적 분석이 가능해진다.
• 이전 연구를 일반화하여 제한적인 i.i.d. 가정을 제거하면서도 동일한 최적 수용률을 유지한다.
• 이 프레임워크는 비정규 목표 분포와 비정규 제안 분포를 가진 모델에도 적용 가능하여 정규 기준 측도를 초월한다.
• 이론적 결과는 조건부 분포와 모멘트 경계를 사용하여 모든 필요한 조건이 검증된 계층 정규 분산 성분 모델에서 검증되었다.