[논문 리뷰] Adaptive Gaussian Copula ABC

Yanzhi Chen, Michael U. Gutmann|arXiv (Cornell University)|2019. 02. 27.

Target Tracking and Data Fusion in Sensor Networks인용 수 8

한 줄 요약

이 논문은 순차적 및 회귀 기반 ABC를 결합한 새로운 ABC 알고리즘인 적응형 가우시안 커플라 ABC(AGC-ABC)를 제안한다. 이 알고리즘은 먼저 순차적 샘플링을 통해 균일한 보조 분포를 학습한 후, 매개변수와 요약 통계량 간의 의존성을 모델링하기 위해 가우시안 커플라를 사용한다. 이 방법은 특히 작은 시뮬레이션 예산 하에서 기존 방법보다 뛰어난 정확도와 효율성을 달성하며, 합성 및 실제 응용 문제에서의 추론 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Approximate Bayesian computation (ABC) is a set of techniques for Bayesian inference when the likelihood is intractable but sampling from the model is possible. This work presents a simple yet effective ABC algorithm based on the combination of two classical ABC approaches --- regression ABC and sequential ABC. The key idea is that rather than learning the posterior directly, we first target another auxiliary distribution that can be learned accurately by existing methods, through which we then subsequently learn the desired posterior with the help of a Gaussian copula. During this process, the complexity of the model changes adaptively according to the data at hand. Experiments on a synthetic dataset as well as three real-world inference tasks demonstrates that the proposed method is fast, accurate, and easy to use.

연구 동기 및 목표

• 우리가 가능하지만 우도가 계산이 어려운 상황에서 약간의 추론을 위한 정확도-효율성 트레이드오프 문제를 해결하기 위해.
• 회귀 ABC가 요약 통계량 전반에 걸쳐 잔차의 균일성을 가정한다는 한계를 극복하기 위해 샘플링 과정을 적응적으로 조정함으로써 이 가정을 향상시키기 위해.
• 순차적 ABC를 통해 더 나은 훈련 데이터 품질을 확보하고, 회귀 ABC를 통해 효율적인 사후 분포 근사치를 도출하기 위해, 가우시안 커플라를 사용해 의존성 구조를 모델링하는 방법을 개발하기 위해.
• 특히 표준 ABC가 실패하는 고차원 또는 복잡한 모델에서, 최소한의 시뮬레이션 예산으로도 높은 정확도를 달성하기 위해.

제안 방법

• 이 방법은 먼저 순차적 ABC를 사용하여 반복적으로 사후 분포 근사치를 개선함으로써, 회귀 ABC가 요구하는 균일성 가정을 더 잘 만족하는 훈련 데이터를 생성한다.
• 매개변수와 요약 통계량의 결합 분포를 가우시안 커플라를 사용해 모델링하여, 균일성 분포와 의존성 구조를 분리한다.
• 커플라 기반 모델은 매개변수와 요약 통계량 간의 조건부 의존성을 포착하여, 진짜 잔차 분포가 비균일할 경우에도 정확한 잔차 모델링이 가능하게 한다.
• 회귀 분석은 커플라 변환된 변수에 적용되어 요약 통계량에서 매개변수로의 매핑을 학습하고, 샘플을 조정하여 진짜 사후 분포를 근사한다.
• 알고리즘은 데이터에 기반해 모델의 복잡도를 적응적으로 조정하여, 더 많은 시뮬레이션을 수행할수록 정확도와 효율성이 향상된다.
• 최종 사후 분포 근사치는 학습된 커플라 기반의 회귀 모델을 원래 매개변수 공간으로 다시 변환함으로써 도출된다.

실험 결과

연구 질문

• RQ1 순차적 및 회귀 ABC를 조합함으로써, 가능성이 있는 추론 환경에서 ABC 추론의 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 회귀 ABC의 균일성 가정이 사후 추정에 어떤 영향을 미치며, 적응적 샘플링을 통해 이를 완화할 수 있는가?
• RQ3 진짜 잔차 분포가 비균일할 경우에도, 가우시안 커플라 모델이 매개변수와 요약 통계량 간의 복잡한 의존성을 효과적으로 포착할 수 있는가?
• RQ4 제안된 방법은 특히 제한된 시뮬레이션 예산 하에서 기존 ABC 접근 방식보다 더 뛰어난 성능을 보일 수 있는가?
• RQ5 커플라 기반 변환을 사용함으로써 ABC에서 사후 분포 근사치의 강인성과 정확도는 어떻게 향상되는가?

주요 결과

• MA(2) 모델에서 AGC-ABC는 REG-ABC와 SNP-ABC보다 진짜 잔차 분포와 추정 잔차 분포 간의 JSD(0.004–0.010)를 크게 낮추었으며, 특히 저분위수(0.1%–10%)에서 두드러진 성능 향상을 보였다.
• Lotka-Volterra 포식자-피식자 모델에서 AGC-ABC는 작은 시뮬레이션 예산 하에서도 다른 방법들보다 뚜렷한 성능 향상을 보였으며, JSD 값이 0.089(0.1%) 및 0.194(25%)로 요약 통계량에 대한 잔차 의존성이 높음을 시사했다.
• 잔차 분포가 비균일할 경우, AGC-ABC는 회귀 ABC와 SNP-ABC보다 사후 정확도에서 뛰어난 성능을 보였으며, 등고선도와 JSD 지표를 통해 이를 확인하였다.
• AGC-ABC는 시뮬레이션 수가 적은 경우에도 높은 정확도를 유지하여, 낮은 예산의 추론 환경에서의 효율성을 입증하였다.
• 가우시안 커플라의 사용은 복잡하고 비균일한 잔차 구조를 효과적으로 모델링하여, 혼합 기반 또는 간단한 회귀 모델 대비 편향을 줄였다.
• 실증 결과는 제안된 방법이 합성 및 실제 문제( epidemiology, 생태학, 시스템 생물학 등) 전반에서 다양한 모델에 대해 강인함을 보였다.