[논문 리뷰] Measuring Bayesian Robustness Using Rényi's Divergence and Relationship with Prior-Data Conflict

Luai Al‐Labadi, Ce Wang|arXiv (Cornell University)|2019. 05. 15.

Advanced Statistical Methods and Models인용 수 1

한 줄 요약

이 논문은 오염된 사전분포 하에서 사후분포 간의 곡률을 측정하기 위해 Rényi의 발산을 사용한 새로운 베이지안 안정성 측도를 제안한다. 두 유형의 오염된 사전분포—ε-오염 및 기하혼합 사전분포—를 비교하여, 안정성과 사전-자료 갈등 사이에 강한 경험적 연관성이 있음을 발견하였으며, 높은 안정성은 사후 추론에서의 갈등 감소와 관련이 있음을 보여주었다.

ABSTRACT

This paper deals with measuring the Bayesian robustness of classes of contaminated priors. Two different classes of priors in the neighbourhood of the elicited prior are considered. The first one is the well-known $\epsilon$-contaminated class, while the second one is the geometric mixing class. The proposed measure of robustness is based on computing the curvature of Renyi's divergence between posterior distributions. The relationship between robustness and prior data conflict has been studied. Through two examples, a strong connection between robustness and prior-data conflict has been found.

연구 동기 및 목표

• 사전 오염 하에서의 베이지안 추론을 위한 안정성 측도를 개발하기 위해.
• ε-오염 및 기하혼합이라는 두 유형의 오염된 사전분포를 비교하기 위해.
• 사후분포에서의 안정성과 사전-자료 갈등 간의 관계를 조사하기 위해.
• 감도 분석을 위한 곡률 기반 지표로서 Rényi의 발산을 사용한 메트릭을 제공하기 위해.

제안 방법

• 다양한 오염된 사전분포 하에서 사후분포의 곡률을 측정하기 위해 Rényi의 발산을 사용한다.
• ε-오염 클래스를 적용하여, 사전분포가 확보된 사전분포와 오염 분포의 혼합으로 구성되도록 한다.
• 기하혼합 클래스를 활용하여, 기본 사전분포와 오염 분포의 기하학적 혼합을 통해 사전분포의 불확실성을 모델링한다.
• 오염 파라미터에 대한 Rényi의 발산의 두 번째 도함수를 계산하여 안정성 곡률을 평가한다.
• 두 사전분포 유형 모두에 대해 사후분포를 분석하여 감도와 안정성을 평가한다.
• 두 가지 예시를 사용하여 안정성과 사전-자료 갈등 간의 관계를 시각화한다.

실험 결과

연구 질문

• RQ1 Rényi의 발산은 사전 오염 하에서 사후분포의 곡률을 어떻게 캡처하는가?
• RQ2 베이지안 모델에서 ε-오염 및 기하혼합 사전분포의 상대적 안정성은 어떠한가?
• RQ3 사전-자료 갈등은 사후 추론에서 낮은 안정성과 얼마나 관련이 있는가?
• RQ4 Rényi의 발산의 곡률은 감도 분석에서 안정성의 신뢰할 만한 지표로 기능할 수 있는가?
• RQ5 다양한 오염 구조는 사후분포의 안정성에 어떻게 영향을 미치는가?

주요 결과

• 사후분포 간 Rényi의 발산의 곡률은 사전 오염 하에서의 베이지안 안정성에 대한 정량적 측도를 제공한다.
• ε-오염 및 기하혼합 클래스는 서로 다른 안정성 프로파일을 보이며, 후자는 더 안정적인 곡률 행동을 보인다.
• 연구한 예시들에서 낮은 안정성과 높은 사전-자료 갈등 사이에 강한 경험적 연관성이 발견되었다.
• 높은 갈등 상황에서의 사후분포는 Rényi의 발산에서 더 큰 곡률을 보이며, 이는 안정성 감소를 시사한다.
• 제안된 측도는 사전의 오염에 대한 민감도를 통해 사전-자료 갈등을 효과적으로 식별한다.