[논문 리뷰] Rigorizing and Extending the Cox-Jaynes Derivation of Probability: Implications for Statistical Practice

Alexander Terenin, David Draper|arXiv (Cornell University)|2015. 07. 23.

Statistical Mechanics and Entropy참고 문헌 37인용 수 9

한 줄 요약

이 논문은 코크스-제이نز 확률 유도를 엄밀하게 확장하여 가чёт 가환성과 일관된 비가чёт 확률 진술을 확립하고, 콜모고로프의 확률론을 코크스-제이نز 프레임워크의 특수한 경우로 증명한다. 이는 베이지안 비모수 추론에 기초를 제공하고, 연속적인 불확실성에 대한 오랫동안 존재했던 갭을 해결한다.

ABSTRACT

There have been three attempts to date to establish foundations for the discipline of probability, namely the efforts of Kolmogorov (frequentist), de Finetti (Bayesian: belief and betting odds) and RT Cox (Bayesian: reasonable expectation)/ET Jaynes (Bayesian: optimal information processing). The original proof of the validity of the Cox-Jaynes approach has been shown to be incomplete, and attempts to date to remedy this situation are themselves not entirely satisfactory. Here we offer a new axiomatization that both rigorizes the Cox-Jaynes derivation of probability and extends it - from apparent dependence on finite additivity to (1) countable additivity and (2) the ability to simultaneously make uncountably many probability assertions in a logically-internally-consistent manner - and we discuss the implications of this work for statistical methodology and applications. This topic is sharply relevant for statistical practice, because continuous expression of uncertainty - for example, taking the set $\Theta$ of possible values of an unknown $ heta$ to be $(0,1)$, or $\mathbb{R}$, or the space of all cumulative distribution functions on $\mathbb{R}$ - is ubiquitous, but has not previously been rigorously supported under at least one popular Bayesian axiomatization of probability. The most important area of statistical methodology that our work has now justified from a Cox-Jaynes perspective is Bayesian non-parametric inference, a topic of fundamental importance in applied statistics. We present two interesting foundational findings, one of which is that Kolmogorov's probability function $\mathbb{P}_K (A)$ of the single argument A is isomorphic to a version of the Cox-Jaynes two-argument probability map $\mathbb{P}_{CJ} (A \mid B)$ in which Kolmogorov's B has been hard-wired at the factory to coincide with his sample space $\Omega$, thus Kolmogorov is a special case of Cox-Jaynes.

연구 동기 및 목표

• 기존 코크스-제이نز 확률 유도에서 오랫동안 남아있던 불완전성, 특히 유한 가환성과 비가чёт 설정에서의 논리적 일관성에 대한 문제를 해결하기 위해.
• 코크스-제이نز 프레임워크를 유한한 것에서 가чёт 가환성으로 확장하여 통계적 추론에서 연속적 매개변수 공간을 엄밀하게 다룰 수 있도록 하기 위해.
• 코크스-제이نز의 이항 확률 맵이 비가чёт 많은 확률 진술을 일관되게 표현할 수 있음을 입증하여, 베이지안 추론의 기초적 갭을 해결하기 위해.
• 두 번째 인수를 표본 공간으로 고정할 경우 콜모고로프의 단항 확률과 코크스-제이نز의 이항 맵 사이의 형식적 동형관계를 수립하기 위해.
• 현대 통계학에서 중심적인 역할을 하는 베이지안 비모수 추론을 논리적으로 엄밀하게 기반화하기 위해, 이전에 코크스-제이نز 공리계 하에서 완전한 정당성이 없었던 부분을 메우기 위해.

제안 방법

• 가чёт 가환성을 보장하기 위해 코크스-제이نز 함수방정식 프레임워크를 강화하는 새로운 공리계를 도입하기 위해.
• 연속 영역에서의 비가чёт 많은 확률 할당의 일관성을 일반화된 협화 조건을 통해 형식화하기 위해.
• 논리적 일관성과 연속성 제약 조건을 만족하는 이항 함수로 확률 맵 $\mathbb{P}_{CJ}(A \mid B)$ 를 정의하기 위해.
• 만약 $B = \Omega$ (표본 공간) 이라면, $\mathbb{P}_{CJ}(A \mid \Omega)$ 가 콜모고로프의 $\mathbb{P}_K(A)$ 로 감소함을 증명하여 동형관계를 확립하기 위해.
• 순서 연속성과 격자 이론적 성질을 사용하여 유한한 확률 진술의 극한이 연속 설정에서 유효한 비가чёт 할당으로 수렴하도록 보장하기 위해.
• 연속적 매개변수 공간, 예를 들어 $\Theta = (0,1)$, $\mathbb{R}$, 또는 $\mathbb{R}$ 위의 모든 누적분포함수의 공간 등에 이 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 코크스-제이نز의 확률 유도를 가чёт 가환성과 비가чёт 일관성을 지원하도록 엄밀하게 확장할 수 있는가?
• RQ2 코크스-제이نز 프레임워크는 통계 모델링에서 흔히 사용되는 연속적 매개변수 공간을 어떻게 다룰 수 있는가?
• RQ3 콜모고로프의 확률 측도는 코크스-제이نز의 이항 확률 맵의 특수한 경우인가? 만약 그렇다면 어떤 조건에서인가?
• RQ4 이 새로운 프레임워크는 베이지안 비모수 추론에 어떤 기초적 지원을 제공하는가?
• RQ5 코크스-제이نز 프레임워크 내에서 동시에 비가чёт 많은 확률 진술을 할 경우 논리적 일관성이 유지될 수 있는가?

주요 결과

• 논문은 코크스-제이نز 프레임워크 내에서 가чёт 가환성에 대한 엄밀한 기초를 확립하여 이전 유도에서 존재하던 핵심적 갭을 해결한다.
• 코크스-제이نز 확률 맵이 비가чёт 많은 확률 진술을 일관되게 표현할 수 있음을 입증하여 연속적 불확실성 정량화를 가능하게 한다.
• 콜모고로프의 $\mathbb{P}_K(A)$ 와 코크스-제이نز의 $\mathbb{P}_{CJ}(A \mid \Omega)$ 사이의 동형관계가 형식적으로 증명되어 콜모고로프의 접근이 특수한 경우임을 보여준다.
• 이 프레임워크는 매개변수 공간이 비가수적일 경우, 예를 들어 $\mathbb{R}$ 또는 모든 누적분포함수의 공간일 경우에도 베이지안 비모수 추론을 논리적으로 일관되게 기반화한다.
• 유한한 확률 할당의 극한이 연속 설정에서 유효한 확률 값으로 수렴하도록 보장하여 일관성을 유지한다.
• 이 작업은 코크스-제이نز 접근이 이전에 완전한 정당성이 없었던 연속적 불확실성 다루는 현대 통계 실천을 뒷받침할 수 있음을 확인한다.