[논문 리뷰] Principled Bayesian Minimum Divergence Inference

Jack Jewson, Jim Q. Smith외 1명|arXiv (Cornell University)|2018. 02. 26.

Advanced Statistical Methods and Models참고 문헌 29인용 수 3

한 줄 요약

이 논문은 최소 발산 추론을 위한 원리적인 베이지안 프레임워크를 제안하며, KL 발산을 초월하여 어떤 통계적 발산 측도라도 일반화할 수 있도록 한다. 이는 모형이 잘못 지정된 경우에도 강건하고 타당한 매개변수 갱신을 가능하게 한다. 주관적인 발산 선택을 允허함으로써, 다양한 데이터 시나리오에서 강건성과 예측 정확도를 향상시키며, 시뮬레이션 및 실제 데이터셋을 통한 실증적 검증을 수행한다.

ABSTRACT

When it is acknowledged that all candidate parameterised statistical models are misspecified relative to the data generating process, the decision maker must concern themselves with the KL-divergence minimising parameter in order to maintain principled statistical practice (Walker, 2013). However, it has long been known that the KL-divergence places a large weight on correctly capturing the tails of the data generating process. As a result traditional inference can be very non-robust. In this paper we advance recent methodological developments in general Bayesian updating (Bissiri, Holmes and Walker, 2016) to propose a statistically well principled Bayesian updating of beliefs targeting the minimisation of any statistical divergence. We improve both the motivation and the statistical foundations of existing Bayesian minimum divergence estimation (Hooker and Vidyashankar, 2014, Ghosh and Basu, 2016), for the first time allowing the well principled Bayesian to target predictions from the model that are close to the data generating process in terms of some alternative divergence measure to the KL-divergence. We argue that defining this divergence measure forms an important, subjective part of any statistical analysis. We here illustrate our method a broad array of divergence measures. We then compare the performance of the different divergence measures for conducting simple inference tasks on both simulated and real data sets, and discuss then how our methods might apply to more complicated, high dimensional models.

연구 동기 및 목표

• KL 발산에 기반한 전통적 베이지안 추론의 한계를 해결하기 위해, 꼬리 행동에 과도하게 중점을 두어 강건하지 못한 결과를 초래한다.
• 일반 베이지안 갱신(Bissiri 등, 2016)을 확장하여, KL 발산 외에도 어떤 통계적 발산도 최소화할 수 있도록 한다.
• 사용자가 정의한 발산 측도에 따라 데이터 생성 과정에 가까운 예측을 목표로 하는 통계적으로 원리적인 베이지안 갱신 프레임워크를 제공한다.
• 다양한 발산 측도가 예측 강건성과 성능 향상에 기여하는 실용적 이점을 입증한다.
• 복잡한 고차원 모형에 대한 최소 발산 추론 적용을 위한 기반을 마련한다.

제안 방법

• 일반 베이지안 갱신(Bissiri 등, 2016)을 변형하여, KL 발산 외에도 어떤 통계적 발산도 최소화할 수 있도록 한다.
• 발산 측도를 설계 선택지로 허용하는 탄력적인 베이지안 갱신 체계를 도입함으로써, 모형 오지정 상황에서도 원리적인 추론을 가능하게 한다.
• 후행 분포 갱신에 발산 기반 손실 함수를 사용하며, 로그우도 대신 발산 기반 손실을 매개변수 학습을 이끄는 데 활용한다.
• 일반화된 후행 분포 형태를 도입하여, 사용자가 지정한 발산을 최소화하면서도 베이지안 원칙에 부합하는 일관성과 타당성을 확보한다.
• f-발산 및 기타 적분 확률 거리 측도를 포함한 광범위한 발산 클래스를 지원하여 모델링의 탄력성을 높인다.
• 시뮬레이션 연구와 실제 데이터 응용을 통해 방법의 유효성을 검증하며, 다양한 발산 선택 사례 간 성능를 비교한다.

실험 결과

연구 질문

• RQ1 모형이 잘못 지정된 경우, 특히 KL 발산이 꼬리 부분에서 과적합을 유도하므로, 어떻게 베이지안 추론을 더 강건하게 만들 수 있는가?
• RQ2 KL 발산 외에도 어떤 통계적 발산을 최소화할 수 있는 원리적인 베이지안 프레임워크를 개발할 수 있는가?
• RQ3 예측 정확도와 매개변수 추정에 있어, 다양한 발산 측도 선택의 실용적 함의는 무엇인가?
• RQ4 제안된 방법은 기존의 KL 기반 추론과 비교해 실제 데이터 및 시뮬레이션 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 고차원 또는 복잡한 통계 모형으로 어떻게 확장될 수 있는가?

주요 결과

• 제안된 방법은 어떤 통계적 발산을 사용하여도 원리적인 베이지안 추론이 가능하게 하며, KL 발산의 한계를 초월한다.
• f-발산 및 적분 확률 거리 측도와 같은 대체 발산은 특히 꼬리가 두꺼운 또는 모형 오지정된 상황에서 더 강건한 추론을 이끈다.
• 시뮬레이션 및 실제 데이터에 대한 실증 결과는 발산 선택이 추정 정확도와 예측 성능에 상당한 영향을 미친다는 것을 보여준다.
• 사용자가 지정한 발산을 유연하게 설정할 수 있는 동시에 이론적 일관성과 베이지안 원칙에 부합하는 프레임워크를 유지한다.
• 데이터 생성 과정이 모형 가정에서 벗어날 경우, 기존의 KL 기반 추론보다 더 강건한 성능을 보인다.
• 이 방법은 확장 가능하며 고차원 모형에 적용 가능하므로, 현대 통계 실무에 넓은 활용 가능성을 지닌다.