[논문 리뷰] Generalized Bayesian Likelihood-Free Inference Using Scoring Rules Estimators

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|2021. 04. 08.

Statistical Methods and Inference참고 문헌 55인용 수 9

한 줄 요약

이 논문은 엄격히 적절한 점수 규칙을 활용하여 사후 일致성과 이상치에 대한 강건성을 보장하는 점수 규칙 추정기 기반의 일반화된 베이지안 가능도 없는 추론 프레임워크를 제안한다. 커널 및 에너지 점수의 일致한 추정기를 사용한 가짜 마진 MCMC를 통해 유한 샘플 사후 일치성을 달성하며, 기존의 베이지안 합성 가능도와 같은 접근 방식을 특수 케이스로 포함한다.

ABSTRACT

We propose a framework for Bayesian Likelihood-Free Inference (LFI) based on Generalized Bayesian Inference using scoring rules (SRs). SRs are used to evaluate probabilistic models given an observation; a proper SR is minimised in expectation when the model corresponds to the data generating process for the observations. Using a strictly proper SR, for which the above minimum is unique, ensures posterior consistency of our method. Further, we prove finite sample posterior consistency and outlier robustness of our posterior for the Kernel and Energy Scores. As the likelihood function is intractable for LFI, we employ consistent estimators of SRs using model simulations in a pseudo-marginal MCMC; we show the target of such chain converges to the exact SR posterior by increasing the number of simulations. Furthermore, we note popular LFI techniques such as Bayesian Synthetic Likelihood (BSL) can be seen as special cases of our framework using only proper (but not strictly so) SR. We empirically validate our consistency and outlier robustness results and show how related approaches do not enjoy these properties. Practically, we use the Energy and Kernel Scores, but our general framework sets the stage for extensions with other scoring rules.

연구 동기 및 목표

• 명시적인 가능도 계산이 필요 없이 일반화된 베이지안 가능도 없는 추론 프레임워크를 개발하는 것.
• 불가능도가 존재하는 상황에서도 사후 일치성과 이상치에 대한 강건성을 확보하는 것.
• 베이지안 합성 가능도와 같은 기존의 가능도 없는 방법들을 점수 규칙 프레임워크에 통합하고 일반화하는 것.
• 커널 및 에너지 점수와 같은 특정 점수 규칙에 대해 유한 샘플 사후 일치성과 강건성을 보장하는 이론적 보장을 수립하는 것.
• 모델 시뮬레이션을 활용한 가짜 마진 MCMC 체계에서 점수 규칙의 일치한 추정기를 사용하여 실용적인 추론을 가능하게 하는 것.

제안 방법

• 엄격히 적절한 점수 규칙(SRs)을 확률 모델 평가의 기초로 사용하여 진정한 데이터 생성 모형이 기대 점수를 최소화하도록 보장한다.
• 커널 및 에너지 점수를 엄격히 적절한 점수 규칙의 구체적 사례로 활용하여 일반화된 베이지안 업데이트 규칙을 통해 사후를 정의한다.
• 모델 시뮬레이션에서 유도된 몬테카를로 추정치를 사용하여 점수 규칙의 비가능한 기대값을 가짜 마진 MCMC로 근사한다.
• 시뮬레이션 수가 증가함에 따라 MCMC 체인의 목표 분포가 정확한 SR 사후로 수렴함을 보여준다.
• 특히 커널 및 에너지 점수에 대해 사후가 일치하고 이상치에 강건해지는 이론적 조건을 수립한다.
• 베이지안 합성 가능도를 엄격히 적절하지 않은 점수 규칙을 사용하는 특수 케이스로 재해석한다.

실험 결과

연구 질문

• RQ1 점수 규칙을 활용하여 사후 일치성과 강건성을 보장하는 일반화된 베이지안 가능도 없는 추론 프레임워크를 구축할 수 있는가?
• RQ2 이 프레임워크 내에서 커널 및 에너지 점수의 유한 샘플 사후 일치성과 이상치 강건성은 어떻게 평가되는가?
• RQ3 베이지안 합성 가능도와 같은 기존의 가능도 없는 방법들이 이 광범위한 점수 규칙 기반 프레임워크에 얼마나 잘 통합되는가?
• RQ4 이 프레임워크 하에서 사후의 수렴성과 강건성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 가짜 마진 MCMC에서 점수 규칙의 일치한 추정기를 사용할 경우 진정한 사후로의 수렴에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 미약한 정규성 조건 하에서 커널 및 에너지 점수에 대해 사후 일치성을 보장한다.
• 이 방법은 사전 샘플 수가 증가함에 따라 진정한 매개변수 값 주변으로 사후가 집중됨을 보여주는 유한 샘플 사후 일치성을 보여준다.
• 커널 및 에너지 점수에 대해 이상치 강건성이 공식적으로 입증되었으며, 이는 많은 기존의 가능도 없는 방법들과는 다름.
• 베이지안 합성 가능도는 엄격히 적절하지 않은 점수 규칙을 사용하는 특수 케이스로 이 프레임워크 내에서 입증되었다.
• 가짜 마진 MCMC 알고리즘은 반복당 시뮬레이션 수가 증가함에 따라 정확한 SR 사후로 수렴한다.
• 실험적 검증을 통해 엄격한 적절성 없이 설계된 관련 접근 방식은 동일한 일치성 또는 강건성 성질을 확보하지 못함을 확인하였다.