[논문 리뷰] The Lindley paradox: The loss of resolution in Bayesian inference

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|2016. 10. 29.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 베이지안 모델 선택에서 리들리 역설을 재검토하며, 비정보성 사전이 빈도주의 방법에 비해 실험적 해상도를 떨어뜨린다는 것을 보여준다. 의사-베이지안 요인을 도입하고 정보 분할을 분석함으로써, 예측 기반 추론이 해상도를 최적화하고 모순적인 결론을 피함을 입증한다. 특히 소표본 또는 특이 모델에서 그러한 효과가 두드러진다.

ABSTRACT

There are three principle paradigms of statistics: Bayesian, frequentist and information-based inference. Although these paradigms are in agreement in some contexts, the Lindley paradox describes a class of problems, models of unknown dimension, where conflicting conclusions are generated by frequentist and Bayesian inference. This conflict can materially affect the scientific conclusions. Understanding the Lindley paradox---where it applies, why it occurs, and how it can be avoided---is therefore essential to the understanding of statistical analysis. In this paper, we revisit the Lindley paradox in the context of a simple biophysical application. We describe how predictive and postdictive measures of model performance provide a natural framework for understanding the Lindley paradox. We then identify methods which result in optimal experimental resolution for discovery.

연구 동기 및 목표

• 모델 차원이 알려져 있지 않은 경우에 베이지안 추론과 빈도주의 추론 간의 갈등을 해결하기 위해.
• 리들리 역설의 근본 원인을 특정화하기 위해 — 특히, 베이지안 모델 선택에서 비정보성 사전이 해상도를 떨어뜨리는 이유를 밝히기 위해.
• 예측 및 후행 측정 기반의 모델 성능 평가가 역설을 이해하고 해결하는 데 있어 체계적인 프레임워크를 제공함을 보여주기 위해.
• 의사-베이지안 요인을 통해 베이지안의 장점을 유지하면서도 역설을 피하고 실험적 해상도를 최적화할 수 있음을 주장하기 위해.
• 베이지안 정보 기준(BIC) 극한이 해상도 손실에 해당하며, 이는 유한 표본 크기에서 최적화되지 않음을 보여주기 위해.

제안 방법

• 데이터와 사전 정보 간의 정보 분할을 통해 베이지안 모델 선택을 분석하며, 두 가지 극한 영역를 식별한다: AIC(큰 사전 정보)와 BIC(작은 사전 정보).
• 비물리적 구슬 이동 모델을 표준 사례로 사용하여, 비정보성 사전이 적용된 경우와 빈도주의 기준 간의 평균 이동이 비영이 아닌지 검출하는 임계값을 비교한다.
• 베이지안 검출 임계값을 유도한다: |μ̂| > σμ·√(2 log(τ/σμ))이며, 여기서 τ는 사전 분산이다. 이를 빈도주의 임계값 |μ̂| > σμ·2와 비교한다.
• 독립적인 분석 간 일관성을 확보하기 위해 리들리 역설을 피하기 위해 의사-베이지안 요인을 도입한다.
• 예측 기반 추론을 적용하여 실험적 해상도를 최적화함을 보이며, 이 방법이 BIC와 비정보성 사전이 내재하는 해상도 손실을 피함을 보여준다.
• BIC 극한이 단일 측정의 임의의 정의에 매우 민감하게 의존함을 입증함으로써, 이는 유한 표본 설정에서의 안정성에 문제가 있음을 드러낸다.

실험 결과

연구 질문

• RQ1 왜 비정보성 사전을 사용한 베이지안 모델 선택은 빈도주의 방법에 비해 해상도가 낮아지는가?
• RQ2 데이터와 사전 정보 간의 정보 분할은 베이지안 추론과 빈도주의 추론 간 일관성에 어떻게 영향을 주는가?
• RQ3 BIC 극한이 해상도 손실에 해당하는 방식은 무엇이며, 왜 실험 설계에 문제가 되는가?
• RQ4 의사-베이지안 요인은 빈도주의 추론과의 일관성을 회복하면서도 베이지안의 장점을 유지할 수 있는가?
• RQ5 예측 및 후행 측정 기반의 모델 성능 평가가 실무에서 리들리 역설을 어떻게 해결하는가?

주요 결과

• 리들리 역설은 비정보성 사전이 베이지안 모델 선택에서 해상도를 떨어뜨려, 빈도주의 방법에 비해 동일한 효과를 감지하기 위해 더 큰 표본 크기가 필요하게 되기 때문이다.
• 베이지안 검출 임계값은 사전 분산 τ에 의존하며, τ → ∞(비정보성 사전)일 때 임계값이 발산하여 민감도가 감소한다.
• BIC 극한은 낮은 해상도와 사전 설정에 대한 높은 민감도를 특징으로 하며, 이는 유한 표본 추론에 적합하지 않다.
• 의사-베이지안 요인은 역설을 피하면서도 베이지안 일관성을 유지하고 실험적 해상도를 최적화하는 일관된 예측 기반 프레임워크를 제공한다.
• AIC 극한은 강건한, 큰 사전 정보 영역을 나타내며, 이는 빈도주의 해상도와 일치하고 사전 선택에 덜 민감하다.
• 빈도주의 검정에서의 다중 비교 문제 자체는 이론적 결함이 아니라 적용의 문제이다. 사전 정보가 적절히 반영된 경우 베이지안 방법은 이러한 문제를 피할 수 있지만, 비정보성 사전이 재활용되면 해상도 손실이 재현된다.