[논문 리뷰] K2-ABC: Approximate Bayesian Computation with Infinite Dimensional Summary Statistics via Kernel Embeddings

Mijung Park, Wittawat Jitkrittum외 1명|arXiv (Cornell University)|2015. 02. 09.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

K2-ABC는 관찰된 데이터와 시뮬레이션된 데이터의 분포 유사성을 측정하기 위해 커널 임bedding과 최대 평균 차이(MMD)를 사용하는 비모수적 Approximate Bayesian Computation(ABC) 방법을 제안한다. 수동으로 요약 통계량을 선택하는 대신 MMD를 관찰된 데이터와 시뮬레이션된 데이터의 경험적 커널 임베딩 간의 이질성 측도로 사용함으로써, 충분한 통계량이 필요 없이 정확한 사후 추론이 가능해지며, 시뮬레이션 데이터와 생물학적 데이터셋에서 검증되었다.

ABSTRACT

Complicated generative models often result in a situation where computing the likelihood of observed data is intractable, while simulating from the conditional density given a parameter value is relatively easy. Approximate Bayesian Computation (ABC) is a paradigm that enables simulation-based posterior inference in such cases by measuring the similarity between simulated and observed data in terms of a chosen set of summary statistics. However, there is no general rule to construct sufficient summary statistics for complex models. Insufficient summary statistics will leak information, which leads to ABC algorithms yielding samples from an incorrect (partial) posterior. In this paper, we propose a fully nonparametric ABC paradigm which circumvents the need for manually selecting summary statistics. Our approach, K2-ABC, uses maximum mean discrepancy (MMD) as a dissimilarity measure between the distributions over observed and simulated data. MMD is easily estimated as the squared difference between their empirical kernel embeddings. Experiments on a simulated scenario and a real-world biological problem illustrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 복잡한 모형에서 가능도가 계산되지 않는 경우 Approximate Bayesian Computation(ABC)에서 충분한 요약 통계량을 선택하는 데 도전하는 것.
• 수작업으로 만든, 잠재적으로 부족한 요약 통계량에 의존하는 전통적 ABC의 한계를 극복하여 잘못된 사후 추론을 방지하는 것.
• 분야별 요약 통계량 설계가 필요 없도록 하는 완전히 비모수적 ABC 프레임워크를 개발하는 것.
• 커널 임베딩과 MMD를 통한 분포 수준 비교를 활용하여 정확한 사후 근사치를 도출하는 것.

제안 방법

• 관찰된 데이터와 시뮬레이션된 데이터의 경험적 분포를 재생핵 힐버트 공간(RKHS)에 있는 커널 임베딩으로 표현하는 것.
• 관찰된 데이터와 시뮬레이션된 데이터의 경험적 커널 임베딩 간의 비모수적 이질성 측도로 최대 평균 차이(MMD)를 사용하는 것.
• 밀도 추정을 피하기 위해 경험적 커널 임베딩 간의 제곱 차이를 직접 데이터로부터 추정하는 것.
• MMD 기반의 거리 측도를 ABC 기반의 거절 샘플링 또는 순차적 몬테카를로 프레임워크에 통합하여 사후 근사치를 도출하는 것.
• 특성 있는 MMD를 보장하기 위해 일반적인 커널(예: 가우시안 RBF)을 사용하여 분포 비교의 일致성을 확보하는 것.
• 요약 통계량에 대한 비모수적 가정이 필요 없이 복잡한 데이터 구조를 적응적으로 포착할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 커널 임베딩 기반의 비모수적 이질성 측도가 복잡한 모형에서 수작업 요약 통계량을 대체할 수 있는가?
• RQ2 경험적 커널 임베딩 간의 MMD를 이질성 측도로 사용할 경우, 전통적 요약 통계량보다 더 정확한 사후 근사치를 도출할 수 있는가?
• RQ3 기존 ABC가 요약 통계량이 부족하여 실패하는 상황에서 제안된 K2-ABC 방법은 얼마나 잘 성능을 발휘하는가?
• RQ4 가능도가 계산되지 않으며 복잡한 데이터 구조를 가진 실제 생물학 문제에서 K2-ABC는 신뢰할 수 있는 추론을 수행할 수 있는가?

주요 결과

• K2-ABC는 수작업으로 선택된 요약 통계량이 필요 없이 정확한 사후 추론을 달성하여 부적절한 통계량으로 인한 정보 유출 위험을 제거한다.
• 기존 ABC가 낮은 품질의 요약 통계량을 사용할 경우 실패하는 시뮬레이션 시나리오에서 K2-ABC는 개선된 사후 근사치를 보여준다.
• 실제 생물학 문제에서 기존 ABC는 전통적인 요약 통계량을 사용해 사후 분포를 회복하지 못하는 반면, K2-ABC는 성공적으로 사후 분포를 복원한다.
• MMD를 분포 수준의 이질성 측도로 사용함으로써 복잡한 데이터 분포 간의 일관되고 비모수적 비교가 가능해진다.
• 경험적 커널 임베딩은 고차원적이고 비선형적인 데이터 구조를 효과적으로 포착할 수 있다.
• 이 방법은 모형의 복잡성에 대해 강건하며 요약 통계량에 대한 비모수적 가정이 필요 없다.