[논문 리뷰] K2-ABC: Approximate Bayesian Computation with Kernel Embeddings

Mijung Park, Wittawat Jitkrittum외 1명|arXiv (Cornell University)|2015. 02. 09.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 27

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 경험적 데이터 분포의 커널 임bedding을 사용하여 수동 요약 통계 선택을 대체하는 비모수적 근사 베이지안 계산(ABC) 방법인 K2-ABC를 제안한다. 관측 데이터와 시뮬레이션 데이터 간의 이질성 측정으로 최대 평균 이질성(MMD)을 사용함으로써, 정보 손실 없이 가능하고, 시뮬레이션 및 실제 생물학적 데이터 모두에서 기존 방법보다 더 정확한 사후 분포 근사치를 도출한다.

ABSTRACT

Complicated generative models often result in a situation where computing the likelihood of observed data is intractable, while simulating from the conditional density given a parameter value is relatively easy. Approximate Bayesian Computation (ABC) is a paradigm that enables simulation-based posterior inference in such cases by measuring the similarity between simulated and observed data in terms of a chosen set of summary statistics. However, there is no general rule to construct sufficient summary statistics for complex models. Insufficient summary statistics will "leak" information, which leads to ABC algorithms yielding samples from an incorrect (partial) posterior. In this paper, we propose a fully nonparametric ABC paradigm which circumvents the need for manually selecting summary statistics. Our approach, K2-ABC, uses maximum mean discrepancy (MMD) as a dissimilarity measure between the distributions over observed and simulated data. MMD is easily estimated as the squared difference between their empirical kernel embeddings. Experiments on a simulated scenario and a real-world biological problem illustrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 요약 통계 선택의 과제를 해결함으로써, 정보 손실로 인한 편향이 발생하는 약한 추론을 방지하기 위해.
• 수작업으로 만든 통계에 의존하지 않고 데이터 분포를 재생 커널 힐버트 공간(RKHS)에 임베딩함으로써 완전히 비모수적 ABC 프레임워크를 개발하기 위해.
• 경험적 데이터 분포 간의 이질성 측정으로 최대 평균 이질성(MMD)을 사용함으로써, 요약 통계 없이도 전체 데이터를 직접 비교할 수 있도록 하기 위해.
• 특성 커널을 사용함으로써 RKHS 임베딩이 단사적이며 전체 사후 분포 근사에 충분함을 보장함으로써, 사후 추론 시 정보 손실이 없도록 하기 위해.
• ABC 프레임워크 내에서 MMD의 선형 시간 및 무작위 푸리에 특성 근사화를 통해 사후 정확도와 계산 효율성을 향상시키기 위해.

제안 방법

• 양성 정의 커널을 사용하여 경험적 데이터 분포를 재생 커널 힐버트 공간(RKHS)에 임베딩함으로써, 이 임베딩이 비모수적 요약 통계로 기능하도록 하기 위해.
• 관측 데이터의 경험적 분포와 시뮬레이션 데이터 간의 비모수적 거리 측정으로 최대 평균 이질성(MMD)을 사용하며, 커널 함수를 통해 계산함.
• ABC 반복 횟수 M에 대해 O(M(n_x + n_y))) 시간 내에 이질성을 계산하는 선형 시간 MMD 추정기 사용.
• 무작위 푸리에 특성을 적용하여 커널 함수를 근사함으로써, D개의 특성 차원을 사용해 O(MD(n_x + n_y))) 시간 내에 효율적인 MMD 추정을 가능하게 함.
• 관측 데이터의 커널 임베딩을 ABC에서 충분한 통계량으로 사용함으로써, 커널이 특성일 경우 사후 분포 p(θ|μ(y*))이 전체 사후 분포 p(θ|y*)와 동일함을 보장함.
• MMD 기반 이질성 측정을 ABC 거절 샘플링 프레임워크에 통합하여, RKHS 임베딩된 공간에서의 유사도에 기반해 매개변수 제안을 수락함.

실험 결과

연구 질문

• RQ1 재생 커널 힐버트 공간(RKHS)에서의 커널 임베딩이 요약 통계의 수단으로 충분하고 비모수적이며, 수동 요약 통계 선택이 필요 없도록 할 수 있는가?
• RQ2 경험적 데이터 분포 간의 이질성 측정으로 MMD를 사용할 경우, 수작업 요약 통계를 사용하는 전통적 ABC보다 더 정확한 사후 근사치를 도출할 수 있는가?
• RQ3 ABC 환경에서 MMD를 효율적으로 계산하여 확장성은 유지하면서 통계적 능력은 유지하고 정보 손실은 방지할 수 있는가?
• RQ4 다양한 커널 선택이 실제 추론 과제에서 제안된 K2-ABC 프레임워크의 성능과 효율성에 미치는 영향은 어느 정도인가?
• RQ5 복잡한 고차원 데이터에서 기존 최첨단 ABC 방법들, 예를 들어 SL-ABC와 비교해 볼 때, 제안된 방법이 사후 정확도 측면에서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 선형 시간 MMD 추정기(K2-lin)와 무작위 푸리에 특성 MMD 추정기(K2-rf)를 사용한 K2-ABC는 블로파이 데이터셋에서 기존 최고 성능을 보인 SL-ABC를 모두 초월하였다.
• 커널 임베딩을 요약 통계로 사용함으로써, 특성 커널이 임베딩을 단사적이고 충분하게 만들기 때문에 사후 추론에서 정보 손실이 없음을 보장한다.
• 무작위 푸리에 특성 근사화를 통해 O(MD(n_x + n_y)))의 계산 비용으로 효율적인 MMD 추정이 가능해져, 더 큰 데이터셋에 대한 확장성이 보장되었다.
• 시뮬레이션 시나리오와 실제 생물학적 문제에서, K2-ABC는 수작업 요약 통계에 의존하는 방법보다 더 정확한 사후 추정치를 도출하였다.
• 다양한 커널 선택에 대해 강건한 성능을 보였으며, 성능은 커널 선택에 민감하여 도메인 특화 커널 설계가 추론 품질을 추가로 향상시킬 수 있음을 시사하였다.