[논문 리뷰] Being an informed Bayesian: Assessing prior informativeness and prior likelihood conflict

Matthew Reimherr, Xiao‐Li Meng외 1명|arXiv (Cornell University)|2014. 06. 23.

Statistical Methods and Inference인용 수 11

한 줄 요약

이 논문은 베이지안 분석에서 사전분포의 정보성과 사전-우도 간 충돌을 진단하기 위한 방법을 제안한다. 이 방법은 동일한 사후 불확실성에 도달하기 위해 필요한 기준 사전분포와의 효과적 표본수 차이(M(k))를 정량화함으로써 작동한다. 연구 결과, 충돌이 존재할 경우 M(k)는 데이터 크기가 증가함에 따라 감소하며, 진실과 일치할 때 사전분포가 추가적인 효과적 데이터 크기를 확보하는 '초정보성 현상'을 규명하였다.

ABSTRACT

Dramatically expanded routine adoption of the Bayesian approach has substantially increased the need to assess both the confirmatory and contradictory information in our prior distribution with regard to the information provided by our likelihood function. We propose a diagnostic approach that starts with the familiar posterior matching method. For a given likelihood model, we identify the difference in information needed to form two likelihood functions that, when combined respectively with a given prior and a baseline prior, will lead to the same posterior uncertainty. In cases with independent, identically distributed samples, sample size is the natural measure of information, and this difference can be viewed as the prior data size $M(k)$, with regard to a likelihood function based on $k$ observations. When there is no detectable prior-likelihood conflict relative to the baseline, $M(k)$ is roughly constant over $k$, a constant that captures the confirmatory information. Otherwise $M(k)$ tends to decrease with $k$ because the contradictory prior detracts information from the likelihood function. In the case of extreme contradiction, $M(k)/k$ will approach its lower bound $-1$, representing a complete cancelation of prior and likelihood information due to conflict. We also report an intriguing super-informative phenomenon where the prior effectively gains an extra $(1+r)^{-1}$ percent of prior data size relative to its nominal size when the prior mean coincides with the truth, where $r$ is the percentage of the nominal prior data size relative to the total data size underlying the posterior. We demonstrate our method via several examples, including an application exploring the effect of immunoglobulin levels on lupus nephritis. We also provide a theoretical foundation of our method for virtually all likelihood-prior pairs that possess asymptotic conjugacy.

연구 동기 및 목표

• 일상적인 베이지안 응용에서 사전분포 정보성에 대한 체계적 평가가 점점 더 필요해지는 데에 대응하기 위해.
• 사후 신뢰성에 악영향을 줄 수 있는 사전분포와 우도 함수 간의 충돌을 탐지하기 위해.
• 사후 불확실성 측면에서 사전-우도 불일치를 상쇄하기 위해 추가로 필요한 데이터의 양을 정량화하기 위해.
• 사전분포가 명시된 크기보다 오히려 더 정보가 많게 보일 수 있는 조건을 탐색하기 위해.
• 점근적 공액성을 갖는 광범위한 우도-사전분포 쌍에 적용 가능한 이론적 기반을 제공하기 위해.

제안 방법

• 동일한 우도 하에서 주어진 사전분포와 기준 사전분포의 사후 불확실성을 일치시키기 위해 사후 매칭을 사용한다.
• 같은 사후 분산을 달성하기 위해 필요한 주어진 사전분포와 기준 사전분포 간의 효과적 표본수 차이를 M(k)로 정의한다.
• i.i.d. 데이터의 표본수 기준으로 정보를 측정하며, M(k)를 관측된 표본수 k의 함수로 간주한다.
• M(k)의 k에 따른 행동을 분석함으로써: 일정한 M(k)는 확증적 사전분포를 나타내며, 감소하는 M(k)는 사전-우도 갈등을 시사한다.
• M(k)/k가 -1으로 수렴하는 이론적 조건을 유도하여, 갈등으로 인한 정보 완전 상실을 나타낸다.
• 사전 평균이 진실과 일치할 경우 사전분포가 (1+r)⁻¹ 퍼센트의 효과적 데이터 크기 증가를 얻는 초정보성 현상을 규명한다. 여기서 r은 명시된 사전분포 크기와 총 데이터 크기의 비율이다.

실험 결과

연구 질문

• RQ1 어떻게 하면 사전분포가 우도에 대해 확증적 또는 모순적인 정보를 제공하는지 공식적으로 평가할 수 있는가?
• RQ2 동일한 사후 불확실성에 도달하기 위해 필요한 주어진 사전분포와 기준 사전분포 간의 효과적 표본수 차이 M(k)는 무엇인가?
• RQ3 관측된 표본수 k가 증가함에 따라 M(k)는 어떻게 행동하며, 이는 사전-우도 호환성에 대해 무엇을 드러내는가?
• RQ4 어떤 조건에서 사전분포가 명시된 크기보다 더 정보가 많게 보일 수 있는가, 즉 사전 평균이 정확할 때조차도?
• RQ5 어떤 이론적 조건이 이 방법이 광범위한 우도-사전분포 쌍에 대해 유효함을 보장하는가?

주요 결과

• 사전-우도 갈등이 없는 경우, M(k)는 k에 관계없이 약간의 변동만을 보이며, 이는 사전분포가 우도 정보를 지지함을 나타낸다.
• 갈등이 존재할 경우, M(k)는 k가 증가함에 따라 감소하며, 이는 사전분포의 오류로 인해 우도 정보의 기여도가 감소함을 반영한다.
• 극단적인 갈등 상황에서는 M(k)/k가 -1에 수렴하여 사전분포와 우도 정보가 완전히 상쇄됨을 나타낸다.
• 사전 평균이 진실된 파rameter 값과 일치할 경우, 사전분포가 (1+r)⁻¹ 퍼센트의 효과적 데이터 크기 증가를 경험하는 초정보성 현상이 관찰된다.
• 이 방법은 거의 모든 점근적 공액성을 갖는 우도-사전분포 쌍에 대해 이론적으로 기반을 두고 있어 광범위한 적용 가능성을 보장한다.
• 실제 임상 연구인 면역글로불린 농도와 루푸스 신염에 대한 응용 사례를 통해 이 방법의 실용적 유용성이 입증되었다.