[논문 리뷰] DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression

Jovana Mitrovic, Dino Sejdinović외 1명|arXiv (Cornell University)|2016. 02. 15.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 10

한 줄 요약

이 논문은 근사 베이지안 계산(ABC)에서 문제에 특화된 요약 통계량을 구성하기 위한 새로운 프레임워크인 DR-ABC를 제안한다. 커널 기반 분포 회귀를 사용하여 재생 힐버트 공간(RKHS)에서 데이터 분포와 최적의 요약 통계량 사이의 기능적 관계를 모델링함으로써, DR-ABC는 더 정보가 풍부하고 유연하며 효율적인 추론을 가능하게 한다. 이는 사전에 알려진 최상의 방법들인 SA-ABC와 K2-ABC보다도 훨씬 낮은 사후 근사 오차를 기록하며, 단순 모델과 실제 응용 사례 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Performing exact posterior inference in complex generative models is often difficult or impossible due to an expensive to evaluate or intractable likelihood function. Approximate Bayesian computation (ABC) is an inference framework that constructs an approximation to the true likelihood based on the similarity between the observed and simulated data as measured by a predefined set of summary statistics. Although the choice of appropriate problem-specific summary statistics crucially influences the quality of the likelihood approximation and hence also the quality of the posterior sample in ABC, there are only few principled general-purpose approaches to the selection or construction of such summary statistics. In this paper, we develop a novel framework for this task using kernel-based distribution regression. We model the functional relationship between data distributions and the optimal choice (with respect to a loss function) of summary statistics using kernel-based distribution regression. We show that our approach can be implemented in a computationally and statistically efficient way using the random Fourier features framework for large-scale kernel learning. In addition to that, our framework shows superior performance when compared to related methods on toy and real-world problems.

연구 동기 및 목표

• 근사 베이지안 계산(ABC)에서 정보가 풍부하고 문제에 특화된 요약 통계량을 선택하는 데 있어 중요한 과제를 해결하기 위해, 부적절한 선택이 근사 오차를 유발할 수 있음을 고려한다.
• 데이터 분포에 대한 기능적 회귀를 통해 사후 근사 오차를 최소화하는 원칙적인 일반 목적의 요약 통계량 구성 프레임워크를 개발한다.
• 재생 힐버트 공간(RKHS) 프레임워크 내에서 대규모 커널 학습을 위한 무작위 푸리에 특징을 활용하여 효율적이고 확장 가능한 추론을 가능하게 한다.
• 다양한 데이터 구조를 고려하기 위해 전체 및 조건부 분포 회귀 변형을 도입하여 기저 데이터 의존성에 적응한다.
• 종종 양측 불확실성을 초래하는 전문가가 선택한 후보 통계량이나 히우리스틱 방법에 대한 의존도를 줄이기 위해, 이를 목표로 한다.

제안 방법

• 이 방법은 재생 힐버트 공간(RKHS)에서 커널 기반 분포 회귀를 사용하여 데이터 분포와 최적의 요약 통계량 사이의 기능적 관계를 모델링한다.
• 특성 커널을 사용하여 경험적 데이터 분포를 RKHS에 매핑함으로써 모든 통계적 정보를 유지하고 데이터 손실이 없도록 보장한다.
• 커널 리지 회귀를 적용하여 평균 매핑된 데이터 분포를 최적의 요약 통계량으로 매핑하며, 이 회귀 함수가 ABC에서 요약 통계량으로 기능한다.
• 두 번째 변형은 조건부 분포 회귀를 사용하여 보조 성분을 기준으로 중요한 데이터 성분의 조건부 분포를 매핑함으로써 매개변수 간 의존성을 더 정확히 모델링한다.
• 이 프레임워크는 통계적 효율성을 유지하면서도 계산 효율성을 높이기 위해 무작위 푸리에 특징을 활용한다.
• 하이퍼파rameter는 교차 검증을 통해 선택되어 원칙적이고 확장 가능한 모델 튜닝 접근법을 확보한다.

실험 결과

연구 질문

• RQ1 일반 목적의 프레임워크가 전문가가 선택한 후보 통계량에 의존하지 않고도 정보가 풍부하고 문제에 특화된 요약 통계량을 학습할 수 있는가?
• RQ2 RKHS에서의 커널 기반 분포 회귀는 기존의 반자동 또는 히우리스틱 방법에 비해 사후 근사 정확도를 어떻게 향상시키는가?
• RQ3 특정 데이터 성분이 관심 있는 매개변수에 영향을 주는 경우, 조건부 분포 회귀는 얼마나 잘 관련 데이터 구조를 포착할 수 있는가?
• RQ4 제안된 방법은 다양한 데이터 유형과 모델 복잡도에서 계산 효율성과 통계 성능 측면에서 어떻게 확장 가능한가?
• RQ5 적절한 커널 정의를 통해 유전 서열, 계통수, 또는 그래프와 같은 구조적 데이터 유형으로 이 프레임워크를 확장할 수 있는가?

주요 결과

• DR-ABC는 모든 테스트 케이스에서 SA-ABC와 K2-ABC를 뛰어넘었으며, 일부 시나리오에서는 평균 제곱오차(MSE)가 최대 두 자리 수 감소하였다.
• 조건부 DR-ABC는 모든 테스트 상황에서 K2-ABC를 일관되게 뛰어넘었으며, 특히 ABC 입자 수가 많아질수록 오차가 명확히 감소하는 경향을 보였다.
• 전체 DR-ABC는 K2-ABC와 경쟁력 있는 성능을 보였고, 특정 경우에서는 이를 초월하여 다양한 데이터 구조에 대한 강건성을 입증했다.
• Lotka-Volterra 모델에서는 시간적 시리즈 데이터의 높은 상관관계로 인해 회귀가 악조건이 되어 SA-ABC가 실패하는 상황에서도 DR-ABC가 뛰어난 성능을 보였다.
• 무작위 푸리에 특징의 사용은 대규모 구현을 효율적으로 가능하게 하여, 복잡한 데이터를 가진 실제 응용에 실용적인 프레임워크로 만들었다.
• 교차 검증을 통해 원칙적인 하이퍼파rameter 선택이 가능했으며, 적절한 커널 설계를 통해 문자열, 그래프, 계통수 등 구조적 데이터 유형으로의 확장도 가능함을 입증했다.