[논문 리뷰] Extending approximate Bayesian computation methods to high dimensions via a Gaussian copula model

Jingjing Li, David J. Nott외 2명|arXiv (Cornell University)|2015. 04. 16.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 6

한 줄 요약

이 논문은 다변량 후행 분포를 비모수적으로 허용하면서도 매개변수 간 이변량 의존성을 모델링함으로써, 요약 통계량의 차원 증가 문제를 해결하고 고차원 매개변수 공간으로의 약간의 베이지안 계산(ABC)을 확장하는 가우시안 코풀라 기반 방법을 제안한다. 이 방법은 이변량 후행 분포를 별도로 추정하고 이를 가우시안 코풀라를 통해 조합함으로써 요약 통계량의 차원 증가 문제를 해결하며, 해석 가능한 해석적 후행 분포 근사치를 제공한다. 이는 진정한 후행 분포가 정규분포가 아닐 경우에도 잘 작동한다.

ABSTRACT

Approximate Bayesian computation (ABC) refers to a family of inference methods used in the Bayesian analysis of complex models where evaluation of the likelihood is difficult. Conventional ABC methods often suffer from the curse of dimensionality, and a marginal adjustment strategy was recently introduced in the literature to improve the performance of ABC algorithms in high-dimensional problems. The marginal adjustment approach is extended using a Gaussian copula approximation. The method first estimates the bivariate posterior for each pair of parameters separately using a 2-dimensional Gaussian copula, and then combines these estimates together to estimate the joint posterior. The approximation works well in large sample settings when the posterior is approximately normal, but also works well in many cases which are far from that situation due to the nonparametric estimation of the marginal posterior distributions. If each bivariate posterior distribution can be well estimated with a low-dimensional ABC analysis then this Gaussian copula method can extend ABC methods to problems of high dimension. The method also results in an analytic expression for the approximate posterior which is useful for many purposes such as approximation of the likelihood itself. This method is illustrated with several examples.

연구 동기 및 목표

• 요약 통계량의 고차원화로 인해 커널 밀도 추정이 신뢰할 수 없게 지속되는 ABC 방법의 차원의 저주 문제를 해결한다.
• 매개변수 쌍 간의 의존성 구조를 활용하여 고차원 매개변수 공간에서의 ABC 성능을 향상시킨다.
• 해석적 근사치를 제공하는 공동 후행 분포를 개발함으로써, 가능도 없는 추론과 빈도주의 비교를 가능하게 한다.
• 로버스트 요약 통계량과 코풀라 ABC 프레임워크를 조합함으로써 이상치가 존재하는 상황에서도 강건한 모델 선택을 가능하게 한다.
• 가능도가 추정 불가능하고 고차원 추론이 필요한 복잡한 모델에 대해 표준 ABC의 실용적이고 확장 가능한 대안을 제공한다.

제안 방법

• 매개변수 쌍 간의 의존성을 이변량 후행 추정치를 통해 기반으로 하는 가우시안 코풀라를 사용해 공동 후행 분포를 모델링한다.
• smoothing 커널과 요약 통계량을 사용한 2차원 ABC 분석을 통해 각 이변량 후행 분포 $\pi(\theta_i, \theta_j|s_{obs})$ 를 추정한다.
• 비모수 추정(예: 커널 밀도)을 사용해 단변량 마진 후행 분포를 추정함으로써 정규분포를 초월한 유연성을 확보한다.
• 추정된 이변량 후행 분포와 마진 분포를 가우시안 코풀라 구조를 통해 조합하여 전체 공동 후행 분포 근사치를 구성한다.
• 해석적 표현을 통해 근사 후행 분포를 구성함으로써 가능도 근사치와 빈도주의 추론을 용이하게 한다.
• 추정 효율성을 향상시키기 위해 반자동 방법 또는 모델 특화 지식을 활용해 정보성 있는 요약 통계량 $s_{(i)}$ 와 $s_{(i,j)}$ 를 선택한다.

실험 결과

연구 질문

• RQ1 기존 ABC가 차원의 저주로 인해 실패할 때, 코풀라 기반 ABC 접근법이 고차원 매개변수 추론을 효과적으로 처리할 수 있는가?
• RQ2 진짜 후행 분포가 비정규분포거나 복잡한 의존성 구조를 보일 경우, 가우시안 코풀라 근사치는 얼마나 잘 작동하는가?
• RQ3 이 방법이 가능도 없는 추론과 모델 비교를 위해 실용적인 해석적 후행 분포 근사치를 얼마나 잘 제공할 수 있는가?
• RQ4 로버스트 요약 통계량과 결합했을 때, 이상치가 존재하는 상황에서도 이 방법이 강건성을 유지할 수 있는가?
• RQ5 고차원 환경에서 표준 ABC 및 마진 조정 방법과 비교해 코풀라 ABC 방법의 성능은 어떠한가?

주요 결과

• 코풀라 ABC 방법은 요약 통계량의 고차원 커널 밀도 추정에 대한 의존도를 줄임으로써 고차원 문제에서 ABC 성능을 크게 향상시킨다.
• 이 방법은 유효한 해석적 공동 후행 분포 근사치를 생성하여 가능도 근사치를 가능하게 하고, 빈도주의 분석을 위한 기준으로 활용할 수 있다.
• 진짜 후행 분포가 정규분포에서 멀리 떨어져 있어도, 마진 후행 분포의 비모수 추정 덕분에 이 방법은 잘 작동한다.
• 대규모 표본 설정에서는 후행 분포가 점점 정규분포에 수렴함에 따라 코풀라 근사치의 정확도가 증가하며, 渐近 이론과 일치한다.
• 이상치가 존재하는 상황에서도 이 방법은 높은 후행 확률 모델을 성공적으로 식별하며, 표준 ABC보다 강건한 모델 선택 과제에서 뛰어난 성능을 보였다.
• 이 방법은 반자동 요약 통계량 선택과 결합될 경우 확장 가능하고 실용적이며, 가능도가 추정 불가능하고 고차원 추론이 필요한 복잡한 모델에서 표준 ABC의 실질적인 대안이 된다.