[논문 리뷰] General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications

Abhik Ghosh, Majumder, Tuhin외 1명|arXiv (Cornell University)|2017. 08. 31.

Advanced Statistical Methods and Models참고 문헌 61인용 수 4

한 줄 요약

이 논문은 밀도 제곱 발산(DPD)을 사용하여 일반적인 강건한 베이즈 가짜 posterior를 도입하여 모형 오특사용 및 데이터 오염 하에서도 지수 수렴을 달성한다. 이는 선형 회귀 및 로지스틱 회귀를 포함한 파라미터 모형으로의 강건한 베이지안 추론을 확장하며, 이론적 보장과 MCMC를 통한 사후분포 계산을 제공한다.

ABSTRACT

Although Bayesian inference is an immensely popular paradigm among a large segment of scientists including statisticians, most applications consider objective priors and need critical investigations (Efron, 2013, Science). While it has several optimal properties, a major drawback of Bayesian inference is the lack of robustness against data contamination and model misspecification, which becomes pernicious in the use of objective priors. This paper presents the general formulation of a Bayes pseudo-posterior distribution yielding robust inference. Exponential convergence results related to the new pseudo-posterior and the corresponding Bayes estimators are established under the general parametric set-up and illustrations are provided for the independent stationary as well as non-homogeneous models. Several additional details and properties of the procedure are described, including the estimation under fixed-design regression models.

연구 동기 및 목표

• 표준 베이지안 추론이 모형 오특사용 및 데이터 오염 하에서 비강건한 점을 해결하기 위해.
• 모형이 잘못되었거나 데이터에 이상치가 포함되어 있을 때도 바람직한 점근적 성질을 유지하는 일반적인 강건한 베이지안 추론 프레임워크를 개발하기 위해.
• 일반적인 파라미터 모형 하에서 제안된 가짜 posterior 및 관련 추정량의 지수 수렴 속도를 확립하기 위해.
• 고정 설계 회귀 모형, 특히 선형 회귀 및 로지스틱 회귀로의 강건한 추론 프레임워크를 확장하기 위해.
• 사후 분포 샘플링 및 강건한 사후 기대값 추정을 위한 계산적으로 실현 가능한 메트로폴리스-해스팅스 MCMC 구현을 제공하기 위해.

제안 방법

• 조정 파rameter α를 가진 밀도 제곱 발산(DPD)을 사용하여 베이즈 정리의 우도를 대체하는 일반화된 강건한 베이즈 가짜 posterior를 제안한다.
• α-우도 함수를 이상치를 가중치를 낮추고 모형 이탈에 강건한 손실 함수로 정의한다.
• DPD 기반 손실과 사전을 조합하여 강건한 사후 핵심을 형성하고, 빈도주의 강건성 원칙에 기반한 강건한 추정을 가능하게 한다.
• 독립 동일분포 및 비동일분포 설정에서 정규성 조건 하에 가짜 posterior 및 관련 추정량의 지수 수렴 속도를 도출한다.
• 정규 분포 사전을 회귀 계수에 적용하여 고정 설계 선형 및 로지스틱 회귀 모형에 방법을 적용한다.
• 버닝 인 및 수렴 진단을 포함한 적응형 제안 분포를 사용한 메트로폴리스-해스팅스 MCMC를 통해 사후분포 계산을 구현한다.

실험 결과

연구 질문

• RQ1 모형 오특사용 및 데이터 오염 하에서도 지수 수렴을 유지할 수 있는 일반적인 강건한 베이즈 가짜 posterior를 제안할 수 있는가?
• RQ2 특히 목적 사전을 사용할 경우, 제안된 가짜 posterior는 파라미터 모형에서 강건성과 수렴 성능 측면에서 어떻게 작동하는가?
• RQ3 독립적이고(stationary) 비동일분포 모형에서 가짜 posterior 및 그 추정량의 이론적 수렴 속도는 무엇인가?
• RQ4 로지스틱 회귀와 같은 고차원 또는 복잡한 회귀 모형에서 강건한 사후분포는 어떻게 효율적으로 계산할 수 있는가?
• RQ5 이 방법은 빈도주의 강건성을 유지하면서도 베이지안 해석 가능성과 최적의 점근적 성질을 얼마나 잘 유지하는가?

주요 결과

• 제안된 강건한 베이즈 가짜 posterior는 일반적인 파라미터 모형 하에서 사후분포 및 관련 추정량 모두 지수 수렴 속도를 달성한다.
• 이 방법은 모형 오특사용 및 데이터 오염 하에서도 강건한 추론을 제공하며, 특히 목적 사전을 사용할 경우 매우 효과적이다.
• 선형 및 로지스틱 회귀 모형에서 강건한 사후분포는 표준 베이지안 방법보다 이상치에 대한 민감도가 낮은 안정적인 추정치를 제공한다.
• 메트로폴리스-해스팅스 MCMC를 통한 사후분포 샘플링은 성공적으로 수행되었으며, 버닝 인 기간(예: 25,000회 반복) 이후 수렴이 관찰되었다.
• 실험 결과에 따르면, R^α-사후분포에서 추정된 사후 평균(ERPE)과 분산은 다양한 α 값에서 안정적이고 잘 校정되어 있다.
• 조정 파rameter α는 강건성을 제어한다: 작은 값(예: α = 0.5)은 오염에 대해 더 강건한 성질을 제공하며, 큰 값은 표준 우도 기반 추론에 수렴한다.