[논문 리뷰] MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy

Badr-Eddine Chérief-Abdellatif, Pierre Alquier|arXiv (Cornell University)|2019. 09. 29.

Statistical Methods and Bayesian Inference인용 수 22

한 줄 요약

이 논문은 모델 오스펙리피케이션 하에서 일致성과 강건성을 보장하기 위해 우도 대신 최대 평균 차이(MMD)를 기반으로 한 가짜우도(fake-likelihood)로 대체하는 MMD-Bayes라는 강건한 베이지안 추정 프레임워크를 제안한다. 재생 커널 힐버트 공간에 확률 측도를 매립하고 온도 매개변수로 조정된 사후분포를 사용함으로써, 이 방법은 최소최대 최적 수렴률을 달성하고 오염된 데이터가 존재하는 상황에서도 강건성을 유지한다. 또한 변분 추론을 통해 확률적 기울기를 활용한 계산이 가능해져 타당한 계산이 가능해진다.

ABSTRACT

In some misspecified settings, the posterior distribution in Bayesian statistics may lead to inconsistent estimates. To fix this issue, it has been suggested to replace the likelihood by a pseudo-likelihood, that is the exponential of a loss function enjoying suitable robustness properties. In this paper, we build a pseudo-likelihood based on the Maximum Mean Discrepancy, defined via an embedding of probability distributions into a reproducing kernel Hilbert space. We show that this MMD-Bayes posterior is consistent and robust to model misspecification. As the posterior obtained in this way might be intractable, we also prove that reasonable variational approximations of this posterior enjoy the same properties. We provide details on a stochastic gradient algorithm to compute these variational approximations. Numerical simulations indeed suggest that our estimator is more robust to misspecification than the ones based on the likelihood.

연구 동기 및 목표

• 표준 베이지안 사후분포가 모델 오스펙리피케이션 하에서 일치하지 않는 문제를 해결하기 위해.
• 최대 평균 차이(MMD) 거리 측도를 사용하여 베이지안 추론에서 우도 함수의 강건한 대체를 개발하기 위해.
• 진정한 데이터 생성 분포가 모델 외부에 있을 경우에도 결과 사후분포가 일치성과 최소최대 최적 수렴률을 유지하도록 보장하기 위해.
• 이론적 보장이 있는 변분 근사와 함께 계산이 가능하도록 추론 방법을 제공하기 위해.
• 수치 시뮬레이션을 통해 이상치와 데이터 오염에 대한 경험적 강건성을 입증하기 위해.

제안 방법

• 모델 분포와 경험 측도 사이의 제곱 MMD 거리에 온도 매개변수 β를 가중치로 적용하여 가짜사후분포를 정의한다.
• 재생 커널 힐버트 공간에서의 MMD인 Dk를 사용하여 MMD-Bayes 사후분포를 πβn ∝ exp(−β·D²k(Pθ, ˆPn)) π(dθ)로 구성한다.
• 가장 가까운 모델 분포 θ∗와의 MMD 거리 기반으로 강건한 사전 질량 조건을 도입하여 사후집중을 보장한다.
• 계산이 불가능한 MMD-Bayes 사후분포를 근사하기 위해 가우시안 가족을 사용한 변분 추론을 적용한다.
• 재구성 및 로그-도함수 기법을 통해 유도된 확률적 기울기를 활용한 프로젝션 확률적 기울기 알고리즘(PSGAVI)을 구현하여 변분 매개변수를 최적화한다.
• 변분 분포에서 몬테카를로 표본을 사용하여 평균 및 공분산 매개변수에 대한 확률적 기울기 추정기법을 유도한다.

실험 결과

연구 질문

• RQ1 MMD를 거리 측도로 사용하는 베이지안 사후분포가 모델 오스펙리피케이션 하에서도 일치성과 강건성을 달성할 수 있는가?
• RQ2 잘 지정된 모델 및 오스펙리피케이션된 모델 하에서 MMD-Bayes 사후분포가 최소최대 최적 수렴률 n−1/2로 수렴하는가?
• RQ3 MMD-Bayes 사후분포의 변분 근사가 정확한 사후분포와 동일한 이론적 보장을 상속할 수 있는가?
• RQ4 이상치 존재 시 MMD-Bayes 추정기는 기존 추정기인 최대우도추정법(MLE)과 중앙값과 비교해 어떻게 성능을 발휘하는가?
• RQ5 확률적 기울기 알고리즘이 MMD-Bayes 사후분포의 변분 근사를 효율적으로 계산할 수 있는가?

주요 결과

• 진정한 분포가 모델에 포함되지 않더라도 강건한 사전 질량 조건 하에서 MMD-Bayes 사후분포는 최소최대 최적 수렴률 n−1/2를 달성한다.
• 이론적 분석을 통해 D²k(Pθ, P0)의 사후 기대값이 8 infθ D²k(Pθ, P0) + 16/n 이하로 제한됨을 확인하여 일치성과 강건성을 확인한다.
• P0 ∉ {Pθ : θ ∈ Θ} 인 경우에도 확률적으로 가장 가까운 모델 분포 θ∗ 주위로 사후분포가 n−1/2 속도로 집중됨을 보여준다.
• MMD-Bayes 사후분포의 변분 근사는 정확한 사후분포와 동일한 일치성 및 강건성 성질을 상속한다.
• 수치 시뮬레이션을 통해 MMD-Bayes 추정기는 특히 이상치가 있는 균일 분포 위치 추정 및 가우시안 평균 추정에서 MSE 측면에서 MLE 및 중앙값 추정기보다 뛰어난 성능을 보인다.
• 20% 이내의 오염된 데이터가 존재하더라도 방법은 안정적이고 정확하게 유지되며, MLE 및 모멘트 방법 추정기는 동일한 조건에서 상당히 악화됨을 확인한다.