[논문 리뷰] Representable Markov Categories and Comparison of Statistical Experiments in Categorical Probability

T. A. Fritz, Tomáš Gonda외 2명|arXiv (Cornell University)|2020. 10. 14.

Statistical Mechanics and Entropy인용 수 8

한 줄 요약

이 논문은 표현 가능한 마르코프 범주와 제2차 확률적 지배를 도입하여 범주론적 확률론을 발전시킨다. 통계적 실험을 비교하기 위한 블랙웰–셔먼–스타인 정리의 일반화를 확립하며, 하나의 실험이 다른 실험보다 베이지안적 의미에서 더 정보가 많다는 것은, 첫 번째 실험의 기대 사후분포가 두 번째 실험의 기대 사후분포보다 제2차 확률적 지배를 받는 것과 동치임을 증명한다. 이 결과는 가측 측도 사전분포 전역에서 유효하며, 고전적이고 베이지안적 형태의 정리 모두를 일반화한다.

ABSTRACT

Markov categories are a recent categorical approach to the mathematical foundations of probability and statistics. Here, this approach is advanced by stating and proving equivalent conditions for second-order stochastic dominance, a widely used way of comparing probability distributions by their spread. Furthermore, we lay foundation for the theory of comparing statistical experiments within Markov categories by stating and proving the classical Blackwell-Sherman-Stein Theorem. Our version not only offers new insight into the proof, but its abstract nature also makes the result more general, automatically specializing to the standard Blackwell-Sherman-Stein Theorem in measure-theoretic probability as well as a Bayesian version that involves prior-dependent garbling. Along the way, we define and characterize representable Markov categories, within which one can talk about Markov kernels to or from spaces of distributions. We do so by exploring the relation between Markov categories and Kleisli categories of probability monads.

연구 동기 및 목표

• 마르코프 범주를 사용하여 통계적 실험을 비교하기 위한 범주론적 기반을 구축하기 위해.
• 표현 가능한 마르코프 범주를 정의하고 특성화하여, 분포를 사상으로(formal treatment) 다룰 수 있도록 하기 위해.
• 확률 분포의 산란(spread)을 비교하는 데 있어 제2차 확률적 지배를 범주론적 도구로 사용하기 위해.
• 측도론적 및 베이지안적 형태를 모두 포함하는 추상적, 합성적 설정으로 고전적 블랙웰–셔먼–스타인 정리를 일반화하기 위해.
• 베이지안적 의미에서의 정보성은 기대 사후분포의 제2차 확률적 지배와 정확히 일치함을 증명하기 위해.

제안 방법

• 확률 함수자에 대한 분포 함수자의 범주론적 개념을 가능하게 하기 위해, 결정론적 사상의 포함에 대한 오른쪽 수반(right adjoint)의 존재를 통해 표현 가능한 마르코프 범주를 특성화한다.
• 아핀 대칭 모나드의 마르코프 범주가 표현 가능할 조건은 오직 그 오른쪽 수반의 존재와 동치임을 증명한다.
• 사전분포에 대한 가측적 의존성을 다루기 위해 거의확실하게 호환 가능한 표현 가능성(almost-surely-compatible representability)의 개념을 도입한다.
• 첫 번째 및 두 번째 모멘트를 보존하는 쌍용 맵(coupling maps)의 존재를 사용하여, 제2차 확률적 지배를 범주론적으로 정의한다.
• 마르코프 범주에서 f가 g보다 더 정보가 많다는 것은, X × PΘ → Y 인 사상 c가 존재하여 f의 사후분포가 g의 사후분포를 제2차 확률적 지배한다는 것을 보여줌으로써, 블랙웰–셔먼–스타인 정리를 마르코프 범주에서 증명한다.
• 프로덕트 공간에서 거의확실 수렴을 위한 가측 선택자를 구성하기 위해 콜모고로프 확장 정리와 보렐–칸텔리 보조정리를 사용한다.

실험 결과

연구 질문

• RQ1 마르코프 범주가 확률 모나드의 클라이슬리 범주로 표현될 수 있는 범주론적 조건은 무엇인가?
• RQ2 제2차 확률적 지배는 합성적, 범주론적 프레임워크에서 어떻게 정의되고 특성화될 수 있는가?
• RQ3 통계적 실험을 비교하기 위한 블랙웰–셔먼–스타인 정리의 범주론적 일반화 형태는 무엇인가?
• RQ4 베이지안적 정보성은 범주론적 설정에서 기대 사후분포의 확률적 지배와 어떻게 관련되는가?
• RQ5 고전적 및 베이지안적 형태의 블랙웰 정리는 표현 가능한 마르코프 범주를 통해 통합되고 일반화될 수 있는가?

주요 결과

• 마르코프 범주가 표현 가능할 조건은 결정론적 사상의 포함에 대한 오른쪽 수반이 존재할 때이며, 이는 분포 함수자의 범주론적 특성화를 제공한다.
• 제2차 확률적 지배는 첫 번째 및 두 번째 모멘트를 보존하는 쌍용 맵의 존재와 동치이며, 이는 분포의 산란을 범주론적으로 비교할 수 있도록 한다.
• 마르코프 범주가 BorelStoch(표준 보렐 공간과 마르코프 커널의 범주)일 경우 고전적 블랙웰–셔먼–스타인 정리는 특수한 경우로 복원된다.
• 베이지안적 형태의 정리가 증명된다: 모든 사전분포에 대해 f가 g보다 더 정보가 많을 조건은 f의 기대 사후분포가 g의 기대 사후분포보다 제2차 확률적 지배를 받는 것과 동치이다.
• 적분과 상한집합의 가측성에 기반하여, µ ↦ nk(µ)인 가측 선택자가 존재함을 입증하여 프로덕트 공간에서 거의확실 수렴을 보장한다.
• 베이지안적 정보성을 실현하는 사상 c: X × PΘ → Y 가 가측임을 증명하여, 이 구성이 가측 공간의 범주에서 유효함을 보장한다.