[논문 리뷰] Approximate Bayesian computation and Bayes linear analysis: Towards high-dimensional ABC

David J. Nott, Yanan Fan외 2명|arXiv (Cornell University)|2011. 12. 20.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다변량 모수 분포에서의 근사 베이지안 계산(ABC)의 정확도를 향상시키기 위해 회귀 보정 ABC와 단변량 주변 사후 분포 추정을 결합하는 새로운 방법을 제안한다. 베이즈 선형 분석을 활용해 회귀 보정을 모멘트 근사로 해석한 후, 초기 ABC 표본의 주변분포를 더 정확한 단변량 추정치로 교체함으로써 공동 사후분포를 보정함으로써 고차원 설정에서 사후분포 정확도를 크게 향상시킨다.

ABSTRACT

Bayes linear analysis and approximate Bayesian computation (ABC) are techniques commonly used in the Bayesian analysis of complex models. In this article we connect these ideas by demonstrating that regression-adjustment ABC algorithms produce samples for which first and second order moment summaries approximate adjusted expectation and variance for a Bayes linear analysis. This gives regression-adjustment methods a useful interpretation and role in exploratory analysis in high-dimensional problems. As a result, we propose a new method for combining high-dimensional, regression-adjustment ABC with lower-dimensional approaches (such as using MCMC for ABC). This method first obtains a rough estimate of the joint posterior via regression-adjustment ABC, and then estimates each univariate marginal posterior distribution separately in a lower-dimensional analysis. The marginal distributions of the initial estimate are then modified to equal the separately estimated marginals, thereby providing an improved estimate of the joint posterior. We illustrate this method with several examples. Supplementary materials for this article are available online.

연구 동기 및 목표

• 고차원 모델에서 차원의 저주로 인해 공동 사후 근사가 실패하는 상황에서 표준 회귀 보정 ABC의 한계를 해결하기 위해.
• 회귀 보정 ABC와 베이즈 선형 분석 사이의 이론적 연결 고리를 제공하여, 회귀 보정을 사후 기대값과 분산에 대한 근사로 해석하기 위해.
• 고차원 모수 공간에서 ABC 사후 추정치를 향상시키기 위한 실용적이고 확장 가능한 방법을 개발하기 위해, 단변량 주변분포를 보완함으로써.
• 초기 공동 의존성 구조가 열악한 경우에도 주변분포 보정이 사후 품질을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 고차원 모수 공간에서 공동 사후 분포로부터의 초기 근사 표본을 생성하기 위해 회귀 보정 ABC를 사용한다.
• 핵심 가중 최소제곱법을 사용하여 조건부 분포를 추정하기 위해 局부 선형 회귀 모델을 적용하여 요약 통계량에 기반한 모수의 조건부 분포를 추정하고, 조정된 모수 표본을 계산한다.
• 개별 모수에 대해 더 높은 정확도를 확보하기 위해 저차원 ABC 방법(예: MCMC 기반 ABC)을 사용하여 각 단변량 주변 사후 분포를 별도로 추정한다.
• 초기 ABC 표본의 단변량 주변분포를 더 정확하게 추정한 결과로 교체함으로써, 원래의 의존성 구조를 유지하면서도 주변 분포의 정밀도를 향상시킨다.
• 수정된 표본을 사용하여 개선된 공동 사후 근사치를 도출하며, 이는 더 정확한 주변 모멘트와 더 나은 모델 적합도를 제공한다.
• 시뮬레이션 연구와 실제 응용(예: 수문학 모델)을 통해 방법의 타당성을 검증하며, 모델 적합도와 사후 품질을 비교한다.

실험 결과

연구 질문

• RQ1 표준 회귀 보정 ABC가 특히 모멘트 근사 측면에서 베이즈 선형 분석의 시각으로 의미 있게 해석될 수 있는가?
• RQ2 표준 회귀 보정이 고차원성으로 인해 실패할 경우, 고차원 ABC 사후 근사의 정확도는 어떻게 향상시킬 수 있는가?
• RQ3 초기 ABC 표본의 단변량 주변분포를 더 정확한 추정치로 교체할 경우, 공동 사후의 전반적인 품질은 어느 정도 향상되는가?
• RQ4 고차원 회귀 보정 ABC와 저차원 주변 추정을 조합한 하이브리드 접근법이 복잡한 모델에서 표준 ABC 방법을 능가할 수 있는가?

주요 결과

• 회귀 보정 ABC 표본은 베이즈 선형 프레임워크 하에서 사후 평균과 분산을 근사하며, 탐색적 분석에서의 사용에 대한 이론적 근거를 제공한다.
• 모델가 잘못 설정되었거나 요약 통계량이 부족한 경우, 표준 회귀 보정 ABC의 공동 사후분포는 주변 위치 측면에서 심각한 편향을 보일 수 있다.
• 초기 ABC 표본의 단변량 주변분포를 저차원 ABC 방법으로 더 정확하게 추정한 결과로 교체함으로써, 로그 변환된 유량 데이터에 대한 중앙절대오차 기준으로 모델 적합도가 크게 향상됨을 확인하였다.
• 초기 의존성 구조가 열악한 경우에도 주변분포 보정 방법은 조정되지 않은 회귀 보정 ABC보다 더 정확한 사후분포를 생성한다. 이는 개선된 주변 모멘트 덕분이다.
• 모델 불일치와 입력 불확실성에 대해 강건하며, AWBM 수문학 모델에서 입력 불확실성이 외부 모델 불일치보다 더 많은 모델 적합도 오차를 설명할 수 있음을 시사한다.
• 이 방법은 중간에서 고차원 문제에 있어서 표준 ABC 방법의 적용 범위를 기존 제약을 넘어서 확장할 수 있도록 한다.