[논문 리뷰] Improper posteriors are not improper

Gunnar Taraldsen, Jarle Tufto외 1명|arXiv (Cornell University)|2017. 10. 24.

Evaluation and Performance Assessment참고 문헌 14인용 수 3

한 줄 요약

이 논문은 레니의 조건부 확률 공간을 사용하여 베이지안 추론에 엄밀한 공리적 기반을 구축한다. 이는 이전에 수학적으로 잘못된 것으로 간주되었던 비정규화 사후확률분포가 이 프레임워크 내에서 일관되고 의미 있는 것으로 나타나게 한다. 주요 기여는 레니 공간 내에서 조건부 기댓값의 존재성과 유일성을 증명한 것으로, 오랫동안 제기되어 온 비정규화 사전확률과 사후확률에 대한 우려를 해결한다.

ABSTRACT

In 1933 Kolmogorov constructed a general theory that defines the modern concept of conditional expectation. In 1955 Renyi fomulated a new axiomatic theory for probability motivated by the need to include unbounded measures. We introduce a general concept of conditional expectation in Renyi spaces. In this theory improper priors are allowed, and the resulting posterior can also be improper. In 1965 Lindley published his classic text on Bayesian statistics using the theory of Renyi, but retracted this idea in 1973 due to the appearance of marginalization paradoxes presented by Dawid, Stone, and Zidek. The paradoxes are investigated, and the seemingly conflicting results are explained. The theory of Renyi can hence be used as an axiomatic basis for statistics that allows use of unbounded priors. Keywords: Haldane's prior; Poisson intensity; Marginalization paradox; Measure theory; conditional probability space; axioms for statistics; conditioning on a sigma field; improper prior

연구 동기 및 목표

• 베이지안 통계에서 비정규화 사전확률과 사후확률 사용에 대한 철학적 및 수학적 이의를 해결하기 위해.
• 비정규화 사후확률이 본질적으로 잘못된 것이 아니며, 레니의 공리적 프레임워크 내에서 엄밀하게 해석될 수 있음을 보여주기 위해.
• 비정규화 법칙을 유효한 통계적 객체로 다룰 수 있도록 레니 공간 내에서 조건부 기댓값에 대한 형식 이론을 제공하기 위해.
• 비정규화 사후확률을 표준 베이지안 업데이트와 조화시키며, 순차적 추론에서의 일관성을 보여주기 위해.
• 마진화 역설을 해결하기 위해, 보기에 모순되는 결과들이 이론적 결함이 아니라 비정규화 측도의 오해에서 비롯된다는 것을 보여주기 위해.

제안 방법

• 확률을 조건부 확률을 통해 정의하는 레니의 공리적 프레임워크를 채택하여 비유계 측도를 허용한다.
• 비정규화 법칙을 표현하기 위해 시그마 유한하고 포함관계를 가지는 집합의 가족(‘묶음’)에 따라 인덱싱된 확률측도의 가족을 사용하여 레니 공간을 정의한다.
• 라돈-니코다임 정리와 일반화된 레니 구조 정리를 사용하여 레니 공간 내에서 조건부 기댓값의 존재성과 유일성을 증명한다.
• 유한 집합 위의 조건부 확률 측도의 동치류로 비정규화 사전확률(예: 할데인의 사전확률, ℝ 위의 균일분포)을 해석한다.
• 표준 예시에 이론을 적용한다: 비정규화 사전확률 π(λ) ∝ 1/λ를 가진 포아송 강도와 할데인의 사전확률을 가진 베르누이 성공확률.
• 비정규화 사후확률이 비록 확률측도가 아니지만 여전히 신념의 일관된 업데이트를 나타내며 순차적 관측에서 일관됨을 보여준다.

실험 결과

연구 질문

• RQ1 비정규화 사후확률은 일관된 공리적 확률 이론 프레임워크 내에서 엄밀히 정당화될 수 있는가?
• RQ2 베이지안 추론에서의 마진화 역설은 이론적 결함에서 비롯되는가, 아니면 비정규화 측도의 오해에서 비롯되는가?
• RQ3 비유계 측도(예: 비정규화 사전확률과 사후확률)를 허용하는 일반적인 조건부 기댓값 이론이 존재하는가?
• RQ4 비정규화 사후확률이 정규화되지 않았더라도 여전히 유효한 베이지안 업데이트를 나타낼 수 있는가?
• RQ5 비정규화 사후확률의 사용은 표준 베이지안 추론과 순차적 업데이트와 어떻게 조화를 이룰 수 있는가?

주요 결과

• 비정규화 사후확률은 수학적으로 잘못되지 않으며, 레니의 조건부 확률 프레임워크 내에서 엄밀하게 정의될 수 있다.
• 라돈-니코다임 정리와 일반화된 레니 구조 정리를 사용하여 레니 공간 내에서 조건부 기댓값의 존재성과 유일성이 증명되었다.
• 데이위드, 스톤, 지드크의 마진화 역설은 비정규화 측도에 대한 일관되지 않은 해석에서 비롯된 것으로 나타나며, 이는 논리적 결함이 아니라는 점이 밝혀졌다.
• 비정규화 사전확률 π(λ) ∝ 1/λ와 관측값 X₁ = 0을 가진 포아송 과정 예시에서, 결과로 얻어진 사후확률 π(λ|x=0) ∝ e^{-λt₁}/λ는 비정규화이지만 유효하며 신념의 일관된 업데이트를 반영한다.
• 비정규화 사후확률은 순차적 추론에서 사전확률로 사용될 수 있으며, 이로 인해 얻어진 최종 사후확률은 원래 사전확률과 전체 데이터 세트를 동시에 결합한 결과와 일치한다.
• 이 이론은 ℝ 위의 균일분포와 같은 비유계 법칙을 유한 구간 위의 조건부 확률의 극한으로 해석함으로써 합법적인 통계적 객체로 간주할 수 있음을 지지한다.