[논문 리뷰] A convenient category for higher-order probability theory

Chris Heunen, Ohad Kammar외 2명|arXiv (Cornell University)|2017. 06. 20.

Logic, Reasoning, and Knowledge참고 문헌 28인용 수 63

한 줄 요약

이 논문은 높은 차수의 확률 이론을 위한 새로운 기초로 준보렐 공간을 도입한다. 측도 공간을 대체하여 고차 함수, 연속 분포, 등식적 추론을 지원하는 카르테시안 닫힘 범주를 제공한다. 준보렐 공간이 무작위 함수의 더 깔끔한 표현을 가능하게 하고, 데 피넷티의 정리를 일반화함으로써 성공적으로 적용됨을 보여준다.

ABSTRACT

Higher-order probabilistic programming languages allow programmers to write sophisticated models in machine learning and statistics in a succinct and structured way, but step outside the standard measure-theoretic formalization of probability theory. Programs may use both higher-order functions and continuous distributions, or even define a probability distribution on functions. But standard probability theory does not handle higher-order functions well: the category of measurable spaces is not cartesian closed. Here we introduce quasi-Borel spaces. We show that these spaces: form a new formalization of probability theory replacing measurable spaces; form a cartesian closed category and so support higher-order functions; form a well-pointed category and so support good proof principles for equational reasoning; and support continuous probability distributions. We demonstrate the use of quasi-Borel spaces for higher-order functions and probability by: showing that a well-known construction of probability theory involving random functions gains a cleaner expression; and generalizing de Finetti's theorem, that is a crucial theorem in probability theory, to quasi-Borel spaces.

연구 동기 및 목표

• 표준 측도 이론적 확률론이 고차 함수와 연속 분포를 다루는 데에 한계가 있음을 해결하기 위해.
• 고차 프로그래밍 구조를 지원하는 범주론적 기초를 개발하기 위해.
• 등식적 추론 원칙과 무작위 함수의 깔끔한 표현을 가능하게 하는 형식 체계를 제공하기 위해.
• 데 피넷티의 정리와 같은 기본 정리들을 고차 설정으로 일반화하기 위해.
• 현대적 확률 프로그래밍에 더 적합한 범주로 측도 공간을 대체하기 위해.

제안 방법

• 측도 공간을 일반화하면서도 바람직한 범주론적 성질을 유지하는 새로운 유형의 공간으로 준보렐 공간을 도입하기 위해.
• 준보렐 공간의 범주가 카르테시안 닫힘임을 보여주어 고차 함수의 사용을 가능하게 하기 위해.
• 준보렐 공간의 범주가 잘 지점화되어 있음을 확립하여 확률 프로그램에 대한 타당한 등식적 추론 원칙을 지원하기 위해.
• 준보렐 프레임워크 내에서 연속 확률 분포를 자연스럽게 정의하고 표준 확률 구조와의 호환성을 확보하기 위해.
• 고전적인 무작위 함수를 포함하는 구성들을 준보렐 형식 체계로 재표현하여 더 자연스럽게 표현하기 위해.
• 데 피넷티의 정리를 준보렐 설정으로 일반화하여 고차 확률 모델로의 적용 범위를 넓히기 위해.

실험 결과

연구 질문

• RQ1 고차 함수와 연속 분포를 지원하는 범주론적 기초를 갖춘 확률 이론을 구성할 수 있는가?
• RQ2 기능 프로그래밍 구조를 가능하게 하기 위해 확률 이론을 위한 카르테시안 닫힘 범주를 어떻게 형성할 수 있는가?
• RQ3 고차 확률 설정에서 등식적 추론 원칙을 타당하게 적용할 수 있는가?
• RQ4 데 피넷티의 정리와 같은 고전적 정리를 이 새로운 프레임워크로 일반화할 수 있는가?
• RQ5 기존 측도 이론에 비해 이 새로운 형식 체계가 무작위 함수를 더 깔끔하게 표현할 수 있는가?

주요 결과

• 준보렐 공간은 카르테시안 닫힘 범주를 이룬다. 이는 확률 모델에서 고차 함수의 사용을 가능하게 한다.
• 준보렐 공간의 범주는 잘 지점화되어 있어 확률 프로그램에 대한 강력한 등식적 추론 원칙을 지원한다.
• 연속 확률 분포는 준보렐 프레임워크 내에서 자연스럽게 정의되고 조작할 수 있다.
• 고전적인 무작위 함수의 구성은 준보렐 형식 체계에서 더 간결하고 자연스럽게 표현된다.
• 데 피넷티의 정리는 준보렐 공간으로 일반화되어 고차 확률 설정으로의 유효성 범위가 확장된다.
• 이 프레임워크는 측도 공간의 타당한 대안을 제공하며 고차 확률 이론의 핵심적 한계를 해결한다.