[논문 리뷰] Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|2019. 03. 03.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 조건부 커널 평균 임베딩을 사용하여 근사 베이지안 계산(ABC)의 하이퍼파rameter를 자동으로 학습하는 베이지안 프레임워크인 커널 임베딩 역치 없는 추론(KELFI)을 소개한다. 재생 힐버트 공간에서 비모수적으로 가능도와 사후분포를 근사화함으로써, KELFI는 폐쇄형 사후 평균 임베딩 샘플링을 가능하게 하며, 특히 도전적인 생태학적 모델에서 제한된 시뮬레이션 예산 하에 추론 정확도와 효율성을 향상시킨다.

ABSTRACT

In likelihood-free settings where likelihood evaluations are intractable, approximate Bayesian computation (ABC) addresses the formidable inference task to discover plausible parameters of simulation programs that explain the observations. However, they demand large quantities of simulation calls. Critically, hyperparameters that determine measures of simulation discrepancy crucially balance inference accuracy and sample efficiency, yet are difficult to tune. In this paper, we present kernel embedding likelihood-free inference (KELFI), a holistic framework that automatically learns model hyperparameters to improve inference accuracy given limited simulation budget. By leveraging likelihood smoothness with conditional mean embeddings, we nonparametrically approximate likelihoods and posteriors as surrogate densities and sample from closed-form posterior mean embeddings, whose hyperparameters are learned under its approximate marginal likelihood. Our modular framework demonstrates improved accuracy and efficiency on challenging inference problems in ecology.

연구 동기 및 목표

• 역치 없는 추론에서 하이퍼파rameter 민감도 문제를 해결함으로써, 생태학과 같은 시뮬레이션 집약적인 분야에서의 응용을 향상시키는 것.
• ABC에서의 불일치 임계값(예: ε)에 대한 수동 튜닝에 의존도를 줄이기 위해 이를 자동으로 학습하는 것.
• 제한된 수의 시뮬레이터 호출만으로도 정확한 사후분포 근사와 샘플링을 가능하게 하는 것.
• 추론과 시뮬레이션 호출을 분리하는 모odular하고 비모수적 프레임워크를 제공하는 것.
• 요약 통계의 관련성을 추론 파이프라인에서 자동으로 평가할 수 있도록 방법을 확장하는 것.

제안 방법

• KELFI는 재생 힐버트 공간(RKHS)에서 조건부 평균 임베딩(CME)을 사용하여 시뮬레이터 출력에서 가능도 함수를 비모수적으로 근사한다.
• 사후분포는 CME 근사에서 유도된 폐쇄형 사후 평균 임베딩을 사용하여 서로서의 밀도로 모델링한다.
• 하이퍼파rameter, 특히 ABC 허용 오차 ε는 베이지안 학습 목표 하에 영향도 최대화를 통해 학습된다.
• 커널 기반 특성 선택을 통해 요약 통계의 자동 관련성 학습을 지원한다.
• 정규화 플로우 변환은 일반적인 사전분포를 표준 정규 사전분포로 매핑하여, 가우시안 커널 하에서 폐쇄형 해를 가능하게 한다.
• 모든 수의 시뮬레이션 후에도 추론과 샘플링이 가능하며, 추론과 시뮬레이션 호출을 분리할 수 있다.

실험 결과

연구 질문

• RQ1 ABC에서 하이퍼파arameter를 자동으로 학습시켜 수동 튜닝 없이도 추론 정확도를 향상시킬 수 있는가?
• RQ2 조건부 커널 평균 임베딩이 역치 없는 추론에서 비가능도 가능도에 대해 정확하고 비모수적인 대체 모델을 제공할 수 있는가?
• RQ3 영향도 최대화를 통한 하이퍼파arameter 학습이 제한된 시뮬레이션 예산 하에서 사후분포 근사에 향상 효과를 미치는가?
• RQ4 이 프레임워크는 가장 정보가 많은 요약 통계를 자동으로 식별하고 가중치를 부여할 수 있는가?
• RQ5 복잡한 생태학적 모델에서 KELFI의 성능은 표준 ABC 방법 대비 정확도와 샘플 효율성 측면에서 어떻게 비교되는가?

주요 결과

• KELFI는 시뮬레이션 횟수에 따라 적응적으로 ε를 튜닝함으로써 추론 작업에 직접 하이퍼파arameter를 학습함으로써 표준 ABC 방법보다 뚜렷이 추론 정확도를 향상시킨다.
• 이 방법은 매우 적은 수의 시뮬레이터 호출만으로도 정확한 사후분포 근사를 달성하여 높은 샘플 효율성을 보였다.
• 폐쇄형 사후 평균 임베딩은 마르코프 체인 몬테카를로를 사용하지 않고도 빠른 샘플링을 가능하게 하여 계산 오버헤드를 감소시켰다.
• 프레임워크는 관련 있는 요약 통계를 성공적으로 식별하고 가중치를 매겨 모델 적합도를 향상시키고 차원을 감소시켰다.
• 생태학적 모델에 대한 실증 결과는 KELFI가 기준선 ABC 방법보다 사후 추정 정확도와 수렴 속도 측면에서 모두 뛰어난 성능을 보였다.
• 비가우시안 사전분포를 가우시안 사전분포로 변환하기 위해 정규화 플로우를 사용함으로써 폐쇄형 해를 가능하게 하면서도 추론의 무결성을 유지했다.