[논문 리뷰] Approximating the marginal likelihood using copula

David J. Nott, Robert Kohn외 1명|ArXiv.org|2008. 10. 30.

Bayesian Methods and Mixture Models참고 문헌 29인용 수 5

한 줄 요약

이 논문은 베이지안 모형 선택에서 근사 가능도를 추정하기 위한 라플라스 근사의 새로운 코풀라 기반 확장법을 제안한다. 이는 추가적인 MCMC 샘플링 없이도 표준 라플라스 방법보다 정확도를 향상시키며, 다변량 후행 분포의 종속성을 더 잘 포착할 수 있도록 코풀라 모델(특히 가우시안 및 t-코풀라)을 사용한다. 이로 인해 Chib의 알고리즘과 같은 완전한 베이지안 방법에 비해 훨씬 낮은 계산 비용으로도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Model selection is an important activity in modern data analysis and the conventional Bayesian approach to this problem involves calculation of marginal likelihoods for different models, together with diagnostics which examine specific aspects of model fit. Calculating the marginal likelihood is a difficult computational problem. Our article proposes some extensions of the Laplace approximation for this task that are related to copula models and which are easy to apply. Variations which can be used both with and without simulation from the posterior distribution are considered, as well as use of the approximations with bridge sampling and in random effects models with a large number of latent variables. The use of a t-copula to obtain higher accuracy when multivariate dependence is not well captured by a Gaussian copula is also discussed.

연구 동기 및 목표

• 베이지안 모형 선택에서 베이즈 인자와 후행 모형 확률을 계산하는 데 필수적인 근사 가능도 추정의 계산적 과제를 해결하기 위해.
• 후행 샘플의 다변량 종속성 구조를 코풀라 모델을 사용하여 모델링하여 라플라스 근사의 정확도를 향상시키기 위해.
• 잠재 변수를 포함한 모형(예: 랜덤 효과 모형)에 적용 가능하고 계산적으로 효율적인 방법을 개발하기 위해.
• 브릿지 샘플링과 Chib의 방법처럼 계산이 집약적인 방법에 대한 실용적인 대안을 제공하기 위해, 특히 고차원 설정에서 효과적으로 활용하기 위해.
• 다변량 종속성이 정규성으로 잘 설명되지 않을 경우, 보다 강력한 대안으로 t-코풀라를 사용해 보는 것

제안 방법

• 이 방법은 후행 샘플의 종속성 구조를 코풀라 모델(특히 가우시안 및 t-코풀라)을 사용하여 모델링함으로써 라플라스 근사를 확장하여, 공동 후행 밀도를 더 잘 근사한다.
• 식 $ p(\mathbf{y}) = \frac{p(\boldsymbol{\theta})p(\mathbf{y}|\boldsymbol{\theta})}{p(\boldsymbol{\theta}|\mathbf{y})} $ 를 사용하며, 근사 가능도는 모드 또는 중앙값에서 분자 값을 평가하고, 후행 밀도는 코풀라 피팅을 통해 추정한다.
• MCMC 결과에 대해 가우시안 코풀라를 피팅하여 $ p(\boldsymbol{\theta}|\mathbf{y}) $ 를 추정함으로써, 라플라스-메트로폴리스 방법에서 사용하는 정규 근사를 대체한다.
• 잠재 변수가 포함된 모형에 적용하기 위해, 잠재 변수의 조건부 후행 분포에서 샘플을 추출하고, 이를 파rameter 공간의 밀도 추정과 코풀라 기반 추정을 결합한다.
• Chib의 방법과 정규 근사와의 비교를 통해, 코풀라 기반 추정이 추가 계산 비용을 거의 들이면서도 더 높은 정확도를 달성함을 확인하였다.
• 후행 분포에 꼬리 종속성 또는 비정규성이 존재할 경우, 가우시안 코풀라의 보다 강력한 대안으로 t-코풀라를 탐색한다.

실험 결과

연구 질문

• RQ1 코풀라 모델은 베이지안 모형 선택에서 근사 가능도 추정을 위한 라플라스 유형 근사의 정확도를 향상시킬 수 있는가?
• RQ2 정확도와 계산 비용 측면에서 코풀라 기반 근사와 표준 라플라스 및 정규 근사 간의 성능 비교는 어떻게 되는가?
• RQ3 코풀라 기반 방법은 잠재 변수가 있는 모형과 고차원 매개변수 공간에 효과적으로 적용될 수 있는가?
• RQ4 후행 종속성 구조가 타원형이 아닐 경우, t-코풀라의 사용이 가우시안 코풀라보다 더 나은 성능을 보일 수 있는가?
• RQ5 어떤 상황에서 코풀라 근사가 Chib의 알고리즘과 같은 더 집약적인 방법과 조합되어 계산 부담을 줄일 수 있는가?

주요 결과

• 코풀라 근사 방법은 정규 근사 및 라플라스-메트로폴리스 추정기법보다 더 높은 정확도를 보였으며, 특히 후행 분포의 복잡한 종속성 구조를 잘 포착하였다.
• 코풀라 기반 방법은 단일 MCMC 실행 외에 거의 추가 계산 자원이 필요로 하였고, Chib의 방법은 각 조건부 밀도 추정을 위해 추가로 여러 번의 MCMC 실행을 필요로 하였다.
• Chib와 Jeliazkov의 방법과의 비교에서, 코풀라 근사 방법은 50회의 반복 평균 차이가 0.1 이내로 매우 유사한 로그 근사 가능도 추정치를 생성하였다.
• t-코풀라의 성능은 가우시안 코풀라보다 略로 낮게 나타났으며, 이는 종속성이 약간 타원형에 가까울 경우 가우시안 코풀라가 충분함을 시사한다.
• 이 방법은 동분산성과 이분산성 모형 모두에서 뛰어난 성능을 보였으며, 이는 모형 구조의 변화에 대해 강건함을 나타낸다.
• 저자들은 코풀라 근사가 Chib의 방법과 조합하여 사용될 수 있으며, 특히 고차원 모형에서 계산 부담을 줄이기 위해 작은 매개변수 블록을 묶는 데 유용할 수 있다고 제안한다.