[논문 리뷰] Divide and conquer in ABC: Expectation-Progagation algorithms for likelihood-free inference

Simon Barthelmé, Nicolás Chopin외 1명|arXiv (Cornell University)|2015. 12. 01.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 6

한 줄 요약

이 논문은 근사 베이지안 계산(ABC)을 가속화하기 위해 기대치 기반 전파(EP)를 사용하는 분할 정복 접근법을 제안한다. 우도를 국소 성분으로 분해하고 국소 요약 통계량을 적용함으로써, 편향을 감소시키고 대량의 병렬 처리를 가능하게 하여, 공간 극단 모델링에서 표준 ABC 대비 100배 이상의 속도 향상을 달성하면서도 정확한 사후 근사값을 유지한다.

ABSTRACT

ABC algorithms are notoriously expensive in computing time, as they require simulating many complete artificial datasets from the model. We advocate in this paper a "divide and conquer" approach to ABC, where we split the likelihood into n factors, and combine in some way n "local" ABC approximations of each factor. This has two advantages: (a) such an approach is typically much faster than standard ABC and (b) it makes it possible to use local summary statistics (i.e. summary statistics that depend only on the data-points that correspond to a single factor), rather than global summary statistics (that depend on the complete dataset). This greatly alleviates the bias introduced by summary statistics, and even removes it entirely in situations where local summary statistics are simply the identity function. We focus on EP (Expectation-Propagation), a convenient and powerful way to combine n local approximations into a global approximation. Compared to the EP- ABC approach of Barthelm\\'e and Chopin (2014), we present two variations, one based on the parallel EP algorithm of Cseke and Heskes (2011), which has the advantage of being implementable on a parallel architecture, and one version which bridges the gap between standard EP and parallel EP. We illustrate our approach with an expensive application of ABC, namely inference on spatial extremes.

연구 동기 및 목표

• 우도를 국소 요소로 분해하고 국소 요약 통계량을 적용하여 ABC의 계산 비용을 감소시키는 것.
• 기존 ABC에서 전역 요약 통계량이 유도하는 편향을 줄이기 위해 데이터 포인트별로 국소 요약 통계량을 사용하는 것.
• 기대치 기반 전파(EP)의 블록 병렬 변형을 통해 ABC에서 효율적인 병렬 계산을 가능하게 하는 것.
• 표준 ABC가 계산적으로 불가능한 고차원 또는 식별 불가능한 모델(예: 공간 극단)에서 사후 근사 정확도를 향상시키는 것.
• 순차적 및 병렬 추론을 모두 지원하는 확장 가능하고 구현 가능한 EP-ABC 프레임워크를 개발하는 것.

제안 방법

• 우도를 $ p(\mathbf{y}|\bm{\theta}) = \prod_{i=1}^n f_i(y_i|\bm{\theta}) $ 로 인수분해하여 각 요소에서 독립적으로 샘플링할 수 있도록 하는 것.
• 각 데이터 블록 $ y_i $ 에 대해 국소 요약 통계량 $ s_i(y_i) $ 를 적용하여 전역 요약 통계량 대비 편향을 감소시키는 것.
• 기대치 기반 전파(EP)를 사용해 $ n $ 개의 국소 ABC 근사값을 하나의 전역 사후 근사값으로 조합하는 것.
• 사이트 업데이트를 대량으로 병렬화할 수 있도록 Cseke & Heskes(2011)의 블록 병렬 EP 버전을 구현하는 것.
• 국소 허용 오차 $ \epsilon $ 를 사용한 ABC 기반 거부 샘플링을 통해 우도를 근사함으로써 EP 알고리즘을 우도 무관 설정에 적응시키는 것.
• 사후 분포를 가우시안 근사로 간주하고, 모멘트 매칭을 반복적으로 적용하여 이를 개선하는 것.

실험 결과

연구 질문

• RQ1 ABC에서 분할 정복 전략을 적용하면 계산 비용을 줄일 수 있을까, 동시에 사후 정확도를 유지하거나 향상시킬 수 있을까?
• RQ2 각 데이터 블록에 대해 국소 요약 통계량을 사용하면 전역 요약 통계량 대비 유의미하게 편향을 감소시킬 수 있을까?
• RQ3 병렬 EP 알고리즘이 ABC에 효과적으로 적용되어 확장 가능한 분산 추론을 가능하게 할 수 있을까?
• RQ4 표준 ABC가 실패하는 고차원, 식별 불가능한 모델(예: 공간 극단)에서 EP-ABC는 어떻게 성능을 보일까?
• RQ5 블록 병렬 EP 변형은 수렴성이나 정확도를 훼손하지 않으면서 얼마나 높은 속도 향상을 달성할 수 있을까?

주요 결과

• 제안된 EP-ABC 방법은 표준 ABC가 일주일 동안도 의미 있는 결과를 내지 못한 공간 극단 모델링 응용에서 표준 ABC 대비 100배 이상의 속도 향상을 달성했다.
• 국소 요약 통계량(예: 항등 함수 $ s_i(y_i) = y_i $)을 사용함으로써, 데이터 블록이 충분 통계량인 경우 요약 통계량에서 유래하는 편향이 완전히 제거된다.
• 블록 병렬 EP 변형은 순차적 버전과 동일한 수렴 속도를 보이며, 10코어 머신에서 병렬 구현 시 이론적으로 10배의 속도 향상이 가능하다.
• EP-ABC는 강한 매개변수 상관관계가 존재하는 거의 식별 불가능한 공간 극단 모델에서도 사후 분포를 성공적으로 근사하였으며, 정확한 사후 평균과 신뢰구간을 제공하였다.
• 이 방법은 진짜 사후 분포의 형태와 매우 유사한 가우시안 사후 근사값을 생성하였으며, 특히 $ \log\nu, \log c $ 매개변수화 방식에서는 약간의 가우시안 윤곽을 형성하여 정확도가 높았다.
• 복합 우도를 통한 모형 오류에 대한 강건성도 입증되었으며, 마진 복합 우도를 가짜 우도로 사용하더라도 일관된 사후 추론이 이루어졌다.