[논문 리뷰] Asymptotic normality, concentration, and coverage of generalized posteriors

Jeffrey W. Miller|arXiv (Cornell University)|2019. 07. 22.

Statistical Methods and Bayesian Inference참고 문헌 76인용 수 27

한 줄 요약

이 논문은 일반화된 사후분포—예를 들어 가짜우도, 부분우도, 강건우도와 같은 비우도함수로부터 유도된 것들—이 점근적 정규성, 집중성, 라플라스 근사, 올바른 빈도주의 커버리지 성질을 보일 수 있는 일반적이고 검증 가능한 조건을 확립한다. 핵심 기여는 진정한 확률모형이 존재하지 않더라도, i.i.d. 및 비-i.i.d. 설정에 모두 적용 가능한 통일된 거의확실 수렴 프레임워크를 제공하는 것이다.

ABSTRACT

Generalized likelihoods are commonly used to obtain consistent estimators with attractive computational and robustness properties. Formally, any generalized likelihood can be used to define a generalized posterior distribution, but an arbitrarily defined "posterior" cannot be expected to appropriately quantify uncertainty in any meaningful sense. In this article, we provide sufficient conditions under which generalized posteriors exhibit concentration, asymptotic normality (Bernstein-von Mises), an asymptotically correct Laplace approximation, and asymptotically correct frequentist coverage. We apply our results in detail to generalized posteriors for a wide array of generalized likelihoods, including pseudolikelihoods in general, the Gaussian Markov random field pseudolikelihood, the fully observed Boltzmann machine pseudolikelihood, the Ising model pseudolikelihood, the Cox proportional hazards partial likelihood, and a median-based likelihood for robust inference of location. Further, we show how our results can be used to easily establish the asymptotics of standard posteriors for exponential families and generalized linear models. We make no assumption of model correctness so that our results apply with or without misspecification.

연구 동기 및 목표

• 표준 우도 이외의 일반화된 사후분포의 점근적 타당성을 평가하기 위한 일반적인 이론적 프레임워크를 제공하는 것.
• 일반화된 베이지안 추론에서 집중성, 점근적 정규성, 빈도주의 커버리지에 대한 통합된 조건의 부재를 해결하는 것.
• 공간 모형, 네트워크 모형, 생존 모형 등 복잡한 모형에 대한 일반화된 사후분포의 실용적 적용을 가능하게 하기 위해 쉽게 검증 가능한 기준을 제공하는 것.
• 진정한 확률모형을 가정하지 않고도 비-i.i.i.d. 및 모형이 잘못 지정된 설정으로까지 베르누이-폰 노이만 이론을 확장하는 것.
• 표준 사후분포와 일반화된 사후분포에 대한 기존의 일致성 및 점근적 정규성 결과를 통합하고 일반화하는 것.

제안 방법

• 일반화된 사후분포를 $ \pi_n(\theta) \propto \exp(-n f_n(\theta)) \pi(\theta) $ 로 정의하며, $ f_n $ 을 결정성 함수의 수열로 간주한다.
• 확률론과 실해석학을 분리하기 위해 결정성 수열 접근법을 사용하여 거의확실 수렴 결과를 도출한다.
• 일반화된 우성 수렴 정리를 적용하여 점근적 정규성과 라플라스 근사를 증명한다.
• 진정한 모형이 필요 없도록 UCT 가정을 대체하기 위해 새로운 조건(조건 3)을 도입하여 사후분포의 집중성을 보장한다.
• 정리 7을 통해 $ f_n $, $ f_n' $, $ f_n'' $ 에 대한 정칙 조건을 유도하여 사전에 매끄러움을 가정하지 않는다.
• 이소링 모형, 코ックス 회귀, 볼츠만 기계, 강건한 중앙값 기반 우도 등 다양한 예시를 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 모형이 정확히 지정되지 않은 상황에서도 일반화된 사후분포가 참 매개변수 값 주변에 집중하는 조건은 무엇인가?
• RQ2 비-i.i.d. 또는 모형이 잘못 지정된 설정에서 일반화된 사후분포가 점근적 정규성(베르누이-폰 노이만 성질)을 확보하는 조건은 무엇인가?
• RQ3 온건한 정칙 조건 하에서 일반화된 사후분포에 대한 라플라스 근사는 점근적으로 정확한가?
• RQ4 일반화된 사후분포에서 유도된 신뢰구간이 점근적으로 올바른 빈도주의 커버리지 성질을 갖는가?
• RQ5 이 이론적 프레임워크는 지수가족 및 일반화선형모형의 표준 사후분포에 어떻게 적용될 수 있는가?

주요 결과

• 일반화된 사후분포는 진정한 확률모형이 없더라도 온건한 조건 하에서 참 매개변수로 거의확실 수렴을 이룬다.
• 베르누이-폰 노이만 정리는 총변동 거리에서의 거의확실 수렴을 보장하며, 확률 수렴 이상의 강도로 성립한다.
• 가짜우도, 부분우도, 강건우도에 대해 점근적 정규성과 라플라스 근사를 위한 충분한 조건가 제공되고 검증되었다.
• 이 방법은 공간 모형, 네트워크 모형, 생존 모형 등 비-i.i.d. 데이터 및 모형 오류가 있는 경우에도 적용 가능하다.
• 이 프레임워크는 지수가족 및 일반화선형모형에 대한 표준 사후분포 점근적 성질을 회복하고 일반화한다.
• 증명 기법은 일반적으로 가정하는 공통 지지역과 같은 조건을 회피하며, $ f_n $ 의 직접적 분석에 의존함으로써 더 넓은 적용 가능성을 확보한다.