[논문 리뷰] On Optimal Scaling of Additive Transformation Based Monte Carlo Under Non-Regular Cases

Kushal Kr. Dey, Sourabh Bhattacharya|arXiv (Cornell University)|2014. 05. 05.

Markov Chains and Monte Carlo Methods인용 수 1

한 줄 요약

이 논문은 비정규 목표 밀도와 비정규 제안 분포(특히 균일, 스트루던의 t, 코시 분포) 하에서 추가성 변환 MCMC(TMCMC)에 대한 확산 기반 최적 스케일링을 조사한다. 확산 기반 접근법이 기존의 기대 제곱 점프 거리(ESJD) 기반 RWM 알고리즘보다 훨씬 뛰어난 성능을 보이며, 특히 무거운 尾비와 비연속 목표 분포와 같은 도전적인 상황에서도 강력한 시뮬레이션 지원을 바탕으로 뛰어난 성능을 보인다. 코시 분포의 경우 형식적 증명이 부족하나, 강력한 시뮬레이션 근거가 있다.

ABSTRACT

Very recently, Transformation based Markov Chain Monte Carlo (TMCMC) was proposed by Dutta and Bhattcharya (2013) as a much efficient alternative to the Metropolis-Hastings algorithm, Random Walk Metropolis (RWM) algorithm, especially in high dimensions. The main advantage of this algorithm is that it simultaneously updates all components of a high dimensional parameter by some appropriate deterministic transformation of a single random variable, thereby reducing time complexity and enhancing the acceptance rate. The optimal scaling of the additive TMCMC approach has already been studied for the Gaussian proposal density by Dey and Bhattacharya(2013). In this paper, we discuss diffusion-based optimal scaling behavior for non-Gaussian proposal densities - in particular, uniform, Student's t and Cauchy proposals. We also consider diffusion based optimal scaling for non-Gaussian proposals when the target density is discontinuous. In the case of the Random Walk metropolis (RWM) algorithm these non-regular situations have been studied by Neal and Roberts (2011) in terms of expected squared jumping distance (ESJD), but the diffusion based approach has not been considered. Although we could not formally prove our diffusion result for the Cauchy proposal, simulation based results led us to a conjecture that the diffusion result still holds for the Cauchy case. We compare our diffusion based TMCMC approach with that of ESJD based RWM approach for the very challenging Cauchy proposal case, showing that our former approach clearly outperforms the latter.

연구 동기 및 목표

• 가우시안 제안 분포를 초월하여 균일, 스트루던의 t, 코시 분포와 같은 비정규 케이스로 추가성 TMCMC에 대한 최적 스케일링 이론을 확장하는 것.
• 목표 밀도가 비연속일 경우, 기존에 확산 프레임워크에서 분석되지 않은 상황에서 확산 기반 최적 스케일링의 행동을 조사하는 것.
• 코시 제안 분포를 포함한 도전적인 비정규 설정에서, 확산 기반 TMCMC와 ESJD 기반 RWM의 성능을 비교하는 것.
• 형식적 증명이 없는 상황에서도 확산 스케일링이 코시 제안 분포에 대해 타당한지에 대한 경험적 증거와 추측을 제공하는 것.
• 비정규 목표 분포에서 비정규 제안 분포를 사용하는 TMCMC가 고차원적 환경에서 RWM보다 더 높은 효율성을 달성할 수 있음을 확립하는 것.

제안 방법

• 비정규 제안 밀도 하에서 추가성 TMCMC의 스케일링 행동을 분석하기 위해 확산 극한 접근법을 적용한다.
• 균일, 스트루던의 t, 코시 제안 분포에 대해 확산 스케일링 프레임워크를 적용하여 渐近 최적 스케일링 파라미터를 유도한다.
• 다양한 비정규 및 비연속 목표 밀도 하에서 확산 기반 TMCMC의 성능을 평가하기 위해 시뮬레이션 연구를 수행한다.
• 고차원 설정에서 확산 기반 TMCMC와 ESJD 기반 RWM 알고리즘 간의 수용률과 혼합 효율성을 비교한다.
• 형식적 수학적 증명이 부족한 상황에서도 시뮬레이션 결과를 바탕으로 한 추측을 활용해 코시 제안 분포의 경우에 확산 스케일링 결과를 확장한다.
• 모든 성분을 동시에 업데이트하기 위해 단일 난수 변수를 활용함으로써 TMCMC의 시간 복잡도와 수용률 향상을 RWM과 비교하여 분석한다.

실험 결과

연구 질문

• RQ1 균일, 스트루던의 t, 코시와 같은 비정규 제안 분포를 사용할 때, 추가성 TMCMC에 대한 확산 기반 최적 스케일링은 어떻게 행동하는가?
• RQ2 비정규 목표 밀도, 특히 비연속성을 가진 경우에 확산 스케일링 프레임워크를 의미 있게 적용할 수 있는가?
• RQ3 무거운 꼬리를 가진 제안 분포를 포함한 고차원 설정에서, 확산 기반 TMCMC와 ESJD 기반 RWM 간의 상대적 성능은 어떠한가?
• RQ4 형식적 이론적 근거가 없는 상황에서도 코시 제안 분포에 대한 확산 스케일링 결과가 경험적으로 타당한가?
• RQ5 비정규 조건 하에서 비정규 제안 분포를 사용하는 TMCMC는 수용률과 혼합 효율성 측면에서 RWM보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 확산 기반 최적 스케일링 접근법이 균일, 스트루던의 t, 코시 분포와 같은 비정규 제안 분포로 추가성 TMCMC에 성공적으로 확장되었다.
• 비연속 목표 밀도의 경우에도 확산 기반 스케일링 프레임워크가 효과적으로 유지되어, 정규 목표 가정을 초월한 강건성을 보였다.
• 시뮬레이션 결과에 따르면, 특히 코시 제안 분포 하에서 확산 기반 TMCMC가 혼합성과 수용률 측면에서 ESJD 기반 RWM 알고리즘보다 뚜렷이 뛰어난 성능을 보였다.
• 코시 케이스에 대한 형식적 증명이 없음에도 불구하고, 시뮬레이션 증거는 확산 스케일링 결과가 타당하다는 추측을 강력히 지지하며, 더 넓은 적용 가능성을 시사한다.
• 비정규 목표 분포에서 비정규 제안 분포를 사용하는 TMCMC 프레임워크는 동시에 모든 성분을 업데이트함으로써 더 높은 효율성을 달성한다.
• 본 연구는 TMCMC의 시간 복잡도가 감소하고 수용률이 향상됨을 입증하였으며, 특히 고차원적이고 비정규적인 설정에서 전통적인 RWM보다 뛰어난 성능을 보였다.