[논문 리뷰] Robust Generalised Bayesian Inference for Intractable Likelihoods

Takuo Matsubara, Jeremias Knoblauch외 2명|arXiv (Cornell University)|2021. 04. 15.

Statistical Methods and Bayesian Inference인용 수 8

한 줄 요약

이 논문은 커널 스팀 차이(discrepancy)를 손실 함수로 사용하여 정규화 상수가 분석적으로 구할 수 없는 모델에 대해 강건한 일반화 베이지안 추론 방법인 KSD-Bayes를 제안한다. 이 방법은 표준 MCMC나 공액 사전분포 하에서 닫힌 형태의 해를 통해 계산 가능한 사후분포를 제공하며, 정규화 상수가 존재하지 않거나 모델이 잘못 지정된 경우에도 일致성, 점근 정규성, 편향에 대한 강건성 등 이론적 성질을 유지한다.

ABSTRACT

Generalised Bayesian inference updates prior beliefs using a loss function, rather than a likelihood, and can therefore be used to confer robustness against possible mis-specification of the likelihood. Here we consider generalised Bayesian inference with a Stein discrepancy as a loss function, motivated by applications in which the likelihood contains an intractable normalisation constant. In this context, the Stein discrepancy circumvents evaluation of the normalisation constant and produces generalised posteriors that are either closed form or accessible using standard Markov chain Monte Carlo. On a theoretical level, we show consistency, asymptotic normality, and bias-robustness of the generalised posterior, highlighting how these properties are impacted by the choice of Stein discrepancy. Then, we provide numerical experiments on a range of intractable distributions, including applications to kernel-based exponential family models and non-Gaussian graphical models.

연구 동기 및 목표

• 정규화 상수가 분석적으로 구할 수 없는 모델에서 베이지안 추론의 과제를 해결하기 위해.
• 우리가 관측한 데이터의 정규화 상수를 계산할 수 없을 때, 우도 함수에 의존하지 않고 스팀 차이를 기반으로 한 손실 함수를 사용하는 일반화된 베이지안 프레임워크를 개발하기 위해.
• 모델가 잘못 지정된 경우의 성질에 대해 사전 지식 없이도 강건성을 확보하기 위해.
• 결과로 도출된 일반화된 사후분포에 대해 일치성, 점근 정규성, 편향 강건성 등의 이론적 보장을 제공하기 위해.
• 공액 사전분포 하에서 표준 MCMC 또는 닫힌 형태의 해를 통해 실용적인 사후분포 계산을 가능하게 하기 위해.

제안 방법

• 정규화 상수가 존재하지 않는 정규화 상수를 평가할 필요 없이, 커널 스팀 차이(KSD)를 손실 함수로 사용하여 일반화된 사후분포를 정의한다.
• 이를 위해 파arameterized 모델 $p_\theta(x) = q(x,\theta)/Z(\theta)$에 KSD를 적용하며, 이산 및 연속 영역 모두에서 스팀 연산자를 활용한다.
• 감도를 데이터 오염에 대응하기 위해 가중치 함수 $M(x)$를 사용하는 커널 기반의 KSD 구성 방법을 적용한다.
• 지수족 모델 하에서 공액 사전분포의 구조를 유도하여 닫힌 형태의 일반화된 사후분포를 가능하게 한다.
• 비공액 설정에서는 하이퍼볼릭 몬테카를로(HMC)를 사용하여 사후분포를 근사한다.
• 이상치 구성에 대한 영향을 줄이기 위해 커널을 수정한 강건한 KSD-Bayes를 제안한다.

실험 결과

연구 질문

• RQ1 KSD를 손실 함수로 사용하는 일반화된 베이지안 추론이 정규화 상수가 존재하지 않는 모델에 대해 계산 가능한 사후분포를 생성할 수 있는가?
• RQ2 이산 모델(예: 이징 모델)에서 KSD 커널과 가중치 함수의 선택이 데이터 오염에 대한 강건성에 미치는 영향은 어떠한가?
• RQ3 모델가 잘못 지정된 경우에도 KSD-Bayes의 일반화된 사후분포가 일치성 및 점근 정규성 등의 빈도주의 점근적 성질을 유지하는가?
• RQ4 우리가 우도 함수를 올바르게 지정했는지 여부와 관계없이 KSD-Bayes 프레임워크가 베르누이-폰 뉴만 결과(Bernstein–von Mises result)를 달성할 수 있는가?
• RQ5 KSD-Bayes의 병태 및 한계는 무엇이며, 커널 설계를 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• KSD-Bayes는 계산 가능한 닫힌 형태의 사후분포 또는 표준 MCMC를 통해 계산 가능한 일반화된 사후분포를 생성하여 이중으로 불가능한 사후분포의 계산 부담을 피한다.
• 모델의 우도 함수가 잘못 지정된 경우에도 일반화된 사후분포가 일치성과 점근 정규성을 유지한다.
• 일반화된 사후분포는 오염된 데이터 하에서도 정확성을 유지하는 편향 강건성을 보이며, 이는 $\epsilon = 0.1$ 오염을 가진 이징 모델에서 입증되었다.
• 가중치 함수 $M(x)$를 사용한 강건한 KSD-Bayes에서는 이상치 구성에 대한 민감도가 표준 KSD-Bayes보다著격히 감소하였다.
• 모델의 정확성 여부와 관계없이 KSD-Bayes에 대해 베르누이-폰 뉴만 결과가 성립함을 확인하여 점근적 빈도주의 타당성을 보장한다.
• 실험 결과는 KSD-Bayes와 강건한 KSD-Bayes 모두가 깨끗한 데이터와 오염된 데이터 모두에서 진짜 매개변수 $\theta = 5$ 근처에 사후 확률 질량이 집중됨을 확인하였다.