[논문 리뷰] An Application of Computable Distributions to the Semantics of Probabilistic Programs

Daniel Huang, Greg Morrisett외 1명|arXiv (Cornell University)|2018. 06. 20.

Computability, Logic, AI Algorithms참고 문헌 44인용 수 5

한 줄 요약

이 논문은 연속 분포를 갖는 확률적 프로그램을 위한 Type-2 계산 가능 의미론을 제안한다. 계산 가능한 분포와 위상적 도메인을 사용하여 이를 실현한다. Haskell 유사 언어에서 샘플링과 분포적 의미론을 어떻게 구현할 수 있는지 보여주며, 조건화(conditioning)가 일반적으로 계산 가능하지 않음을 밝히고, 실현 가능성(realizability)과 구조적 수학과의 연결을 제시한다.

ABSTRACT

In this chapter, we explore how (Type-2) computable distributions can be used to give both (algorithmic) sampling and distributional semantics to probabilistic programs with continuous distributions. Towards this end, we sketch an encoding of computable distributions in a fragment of Haskell and show how topological domains can be used to model the resulting PCF-like language. We also examine the implications that a (Type-2) computable semantics has for implementing conditioning. We hope to draw out the connection between an approach based on (Type-2) computability and ordinary programming throughout the chapter as well as highlight the relation with constructive mathematics (via realizability).

연구 동기 및 목표

• 연속 분포가 포함된 확률 모델링과 계산의 이산적 성격 사이의 갈등을 해결하기 위해.
• 알고리즘적 샘플링과 계산 가능한 분포를 사용한 분포적 추론을 모두 지원하는 확률적 프로그램의 의미론을 개발하기 위해.
• 실수와 연속 분포를 포함한 핵심 PCF 유사 언어의 의미론을 위상적 도메인을 사용하여 모델링하기 위해.
• 확률적 프로그램에서 조건화의 계산 가능성을 조사하고, 일반적으로 Type-2 계산 가능하지 않음을 보여주기 위해.
• 실현 가능성과의 연결을 통해 구조적 수학과의 연관성을 밝히고, 기능적 언어에서 실용적 프로그래밍에의 적용 가능성을 보여주기 위해.

제안 방법

• 실수와 연속 분포를 수렴하는 이산 근사의 수열로 나타내기 위해 Type-2 계산 가능성을 사용한다.
• 실수나 분포에 대한 블랙박스 원천에 의존하지 않는 하스켈의 일부 분할에서 계산 가능한 분포를 표현한다.
• 언어의 의미론을 모델링하기 위한 수학적 기초로 위상적 도메인을 사용하며, 도메인 이론적 구성 요소를 지원한다.
• 가산 기반 공간 위에서 샘플링과 분포적 의미론을 지원하기 위해 확률 모나드를 갖춘 핵심 언어 λ_CD 를 도입한다.
• sampToComp 및 compToSamp 와 같은 함수를 사용하여 샘플 가능한 분포와 계산 가능한 분포 사이의 계산 가능한 동형사상(Computable isomorphism)을 확립한다.
• integrateBndDom 와 integrateBnd 와 같은 함수를 통해 효과적인 르베그 적분을 구현하여 계산 가능한 분포 위에서 기대값을 계산한다.

실험 결과

연구 질문

• RQ1 어떻게 (Type-2) 계산 가능한 분포를 사용하여 연속 분포를 갖는 확률적 프로그램에 대해 샘플링과 분포적 의미론을 동시에 제공할 수 있는가?
• RQ2 위상적 도메인과 같은 수학적 구조는 기능적 언어에서 연속 분포를 정확히 모델링할 수 있는가?
• RQ3 Type-2 계산 가능한 프레임워크에서 조건화는 어느 정도 계산 가능하며, 그 제한 사항은 무엇인가?
• RQ4 이 프레임워크는 실현 가능성과의 관계에서 어떻게 구조적 수학과 연결되며, 확률 프로그래밍의 맥락에서 어떤 의미를 갖는가?
• RQ5 튜링 완전한 확률 프로그래밍 언어는 모든 Type-2 계산 가능한 분포를 표현할 수 있는 의미에서 완전 추상적이고 보편적인가?

주요 결과

• 일반적으로 조건화는 (Type-2) 계산 가능하지 않다. 즉, 모든 조건부 질의가 알고리즘적으로 계산 가능한 것은 아니다.
• 언어 λ_CD 는 알고리즘적 샘플링과 분포적 의미론을 모두 지원하여 확률적 프로그램에 대한 등식적 추론을 가능하게 한다.
• 전체 측도 분포를 가정할 경우, 샘플 가능한 분포와 계산 가능한 분포 사이에 계산 가능한 동형사상이 존재한다.
• 위상적 도메인은 계산 가능한 실수와 연속 분포를 의미론적으로 모델링하기에 적합한 수학적 기초를 제공한다.
• 등가 연산이 서로 다른 값을 참으로 반환하지 않도록 하여 보레르 역설(Borel paradox)을 피한다. 등가가 증명적으로 다를 바가 없으면 등가 연산은 발산한다.
• integrateBndDom 와 integrateBnd 와 같은 함수를 통해 효과적인 르베그 적분을 실현하여 계산 가능한 분포 위에서 기대값을 계산할 수 있다.