[논문 리뷰] A Bayesian Characterization of Relative Entropy

John C. Baez, T. A. Fritz|arXiv (Cornell University)|2014. 02. 13.

Receptor Mechanisms and Signaling참고 문헌 5인용 수 22

한 줄 요약

이 논문은 베이지안 프레임워크에서 범주론을 사용하여 상대 엔트로피(Kullback–Leibler 발산)의 새로운 공리적 특성화를 제공한다. 유한 확률 공간과 측정 과정, 확률적 역함수를 포함하는 범주 FinStat 위에서 함수자(functor)를 정의하고, 상대 엔트로피가 최적의 가설일 때 0이 되며, 하방 연속성과 볼록 선형성 조건을 만족하는 유일한 하방 연속성, 볼록 선형 함수자임을 증명한다. 이는 스칼라 배수를 제외하고 유일하다.

ABSTRACT

We give a new characterization of relative entropy, also known as the Kullback-Leibler divergence. We use a number of interesting categories related to probability theory. In particular, we consider a category FinStat where an object is a finite set equipped with a probability distribution, while a morphism is a measure-preserving function $f: X o Y$ together with a stochastic right inverse $s: Y o X$. The function $f$ can be thought of as a measurement process, while s provides a hypothesis about the state of the measured system given the result of a measurement. Given this data we can define the entropy of the probability distribution on $X$ relative to the "prior" given by pushing the probability distribution on $Y$ forwards along $s$. We say that $s$ is "optimal" if these distributions agree. We show that any convex linear, lower semicontinuous functor from FinStat to the additive monoid $[0,\infty]$ which vanishes when $s$ is optimal must be a scalar multiple of this relative entropy. Our proof is independent of all earlier characterizations, but inspired by the work of Petz.

연구 동기 및 목표

• 베이지안 사전 분포와 추론을 명시적으로 포함하는 상대 엔트로피의 새로운 공리적 특성화를 제공하기 위해.
• 확률 이론에서 측정과 믿음 갱신의 개념을 범주론을 사용하여 형식화하기 위해.
• 상대 엔트로피를 구조적 및 연속성 조건을 만족하는 FinStat에서 [0,∞]로의 유일한 함수자로 식별하기 위해.
• 사전 분포가 정보 증가에서 수행하는 역할을 범주론적 프레임워크에 통합함으로써 명확히 하기 위해.
• 범주론적 확률론과 베이지안 추론에서 정보이론적 개념의 기초를 마련하기 위해.

제안 방법

• 객체가 유한 집합과 확률 분포로 이루어지고, 사상이 측도를 보존하는 사상 f:X→Y와 확률적 우측 역함수 s:Y→X로 구성되는 범주 FinStat을 도입한다.
• 확률적 역함수 s를 통해 Y의 분포를 전이함으로써 X 위의 사전 분포를 정의하며, 이를 p_x = s_{x f(x)} r_{f(x)}로 표현한다.
• 각 사상 (f,s)에 대해 상대 엔트로피 S(q,p)를 할당하여, 사전 분포 p에서 진정한 분포 q로 갱신할 때의 정보 증가를 나타낸다.
• 사상 (f,s) ↦ S(q,p)의 할당이 [0,∞]의 덧셈 모노이드로의 함수자임을 증명한다.
• 상대 엔트로피가 최적의 가설 s일 때 0이 되며, 볼록 선형성과 하방 연속성 조건을 만족하는 유일한 함수자임을 특성화한다.
• 확률 분포와 그 조합의 구조를 형식화하기 위해, 운영자(opera)와 볼록 대수(convex algebras)와 같은 범주론적 도구를 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 확률적 맥락에서 상대 엔트로피를 유일하게 특성화하는 구조적 성질은 무엇인가?
• RQ2 확률 이론에서 측정과 믿음 갱신은 범주론을 통해 어떻게 형식화될 수 있는가?
• RQ3 FinStat에서 [0,∞]로의 함수자가 상대 엔트로피의 스칼라 배수임을 보장하는 조건은 무엇인가?
• RQ4 왜 하방 연속성은 이러한 특성화에 필수적인 조건인가?
• RQ5 최적성과 볼록성에 관련된 범주론적 공리에서 상대 엔트로피를 유도할 수 있는가?

주요 결과

• 상대 엔트로피는 최적의 확률적 역함수 s일 때 0이 되며, 볼록 선형성과 하방 연속성 조건을 만족하는 FinStat에서 [0,∞]로의 유일한 함수자이다.
• 함수자적 구조는 복합 측정 과정의 상대 엔트로피가 그 구성 요소의 상대 엔트로피의 합과 같음을 보장한다.
• 사전 분포는 확률적 역함수 s와 Y에서의 측정된 분포를 통해 구성되며, 이는 베이지안 믿음 갱신을 형식화한다.
• 하방 연속성은 필수적이다: 상대 엔트로피는 확률 단체의 곱 위에서 연속적이지 않지만, 하방 연속적이다.
• 이 특성화는 페츠(Petz)나 다른 이론가들이 다른 공리에 기반해 이전에 제시한 특성화와 독립적이다.
• 이 프레임워크는 위상적 범주론에 자연스럽게 통합되며, [0,∞]에 상부 위상(topology)을 부여하면 볼록 대수가 되고, 이는 함수자의 구성에 기여한다.