[논문 리뷰] A Domain-Theoretic Approach to Statistical Programming Languages

Jean Goubault-Larrecq, Xiaodong Jia외 1명|arXiv (Cornell University)|2021. 06. 30.

Computability, Logic, AI Algorithms인용 수 6

한 줄 요약

이 논문은 정확한 실수의 dcpo 위에서 최소 평가를 사용하여 통계 프로그래밍 언어를 위한 단순한 도메인 이론적 의미론을 제시한다. 이는 연속 분포, 소프트 제약 조건, 그리고 완전한 재귀를 지원하는 교환 법칙을 만족하는 모나드를 가능하게 한다. 주요 기여는 모든 실수 값 측도, 비유계 및 비연속적인 측도를 포함하여 정확한 실수의 도메인 위에서 최소 평가를 통해 모델링할 수 있음을 증명한 것으로, 독립적인 난수 추출의 순서 변경과 같은 프로그램 변환의 정확성을 보장한다.

ABSTRACT

We give a domain-theoretic semantics to a statistical programming language, using the plain old category of dcpos, in contrast to some more sophisticated recent proposals. Remarkably, our monad of minimal valuations is commutative, which allows for program transformations that permute the order of independent random draws, as one would expect. A similar property is not known for Jones and Plotkin' s monad of continuous valuations. Instead of working with true real numbers, we work with exact real arithmetic, providing a bridge towards possible implementations. (Implementations by themselves are not addressed here.) Rather remarkably, we show that restricting ourselves to minimal valuations does not restrict us much: all measures on the real line can be modeled by minimal valuations on the domain $\mathbf{I}\mathbb{R}_\bot$ of exact real arithmetic. We give three operational semantics for our language, and we show that they are all adequate with respect to the denotational semantics. We also explore quite a few examples in order to demonstrate that our semantics computes exactly as one would expect, and in order to debunk the myth that a semantics based on continuous maps would not be expressive enough to encode measures with non-compact support using only measures with compact support, or to encode measures via non-continuous density functions, for instance. Our examples also include some useful, non-trivial cases of distributions on higher-order objects.

연구 동기 및 목표

• 복잡한 범주론적 구조, 예를 들어 준보렐 공간과 같은 것을 피하는 단순한 순수 도메인 이론적 의미론을 통계 프로그래밍 언어에 적용한다.
• 정확한 실수의 도메인 위에서 최소 평가를 사용하여 실수 직선 위의 모든 보렐 측도, 비유계 지지 집합과 비연속 밀도 함수를 포함한 측도를 모델링할 수 있음을 보여준다.
• dcpos의 범주 위에서 최소 평가의 모나드가 교환 법칙을 만족함을 확립하여, 독립적인 난수 추출의 순서 변경과 같은 정확한 프로그램 변환을 가능하게 한다.
• 도메인 이론적 의미론과 실행 가능한 정확한 실수 산술 사이의 격차를 메우기 위해 실수의 간격 기반 표현을 사용한다.
• 평가, 감소, 계속 전달 스타일 기반의 운영 의미론이 도메인 이론적 의미론과 표준 가정 하에 모두 적합함을 보여준다.

제안 방법

• 정확한 실수를 표현하기 위해 $\mathbf{I}\mathbb{R}_{\bot}$의 간격 근사치 도메인을 사용하여 도메인 이론적 의미론과의 호환성을 확보한다.
• $\mathbf{Dcpo}$ 위에서 최소 평가의 모나드를 정의하며, 이는 교환 법칙을 만족함을 증명하여 푸비니-토넬리 스타일의 추론과 독립적인 난수 추출의 순서 변경이 정확하게 유지됨을 보장한다.
• 최소 평가를 사용하여 연속 분포와 소프트 제약 조건($\mathtt{score}$를 통해)을 모델링하며, 이는 유계가 아니며 비유계 집합 위에서의 통합을 지원한다.
• 평가 기반, 감소 기반, 계속 전달 스타일의 세 가지 운영 의미론을 구성하며, 적절한 상수에 대한 자연스러운 가정 하에 도메인 이론적 의미론과 모두 적합함을 증명한다.
• 지아와 미스로브의 $K$-완비화 구조와 점 연속성 평가를 활용하여 모나드가 dcpos 위에서 교환 법칙을 만족하고 잘 동작함을 보장한다.
• 고차원 분포와 복잡한 측도, 비연속 밀도 함수를 가진 측도를 모델링함으로써 표현력을 입증한다.

실험 결과

연구 질문

• RQ1 최소 평가 기반의 순수 도메인 이론적 의미론이 $\mathbb{R}$ 위의 모든 보렐 측도, 비유계 지지 집합을 가진 측도를 포함하여 모델링할 수 있는가?
• RQ2 $\mathbf{Dcpo}$ 위에서 최소 평가의 모나드가 교환 법칙을 만족하는가? 이는 프로그램 내에서 독립적인 난수 추출의 순서 변경이 정확하게 유지됨을 보장한다.
• RQ3 정확한 실수 산술은 도메인 이론적 의미론에 자연스럽게 통합될 수 있는가? 그리고 이는 완전한 재귀와 연속 분포를 지원하는가?
• RQ4 평가, 감소, 계속 전달 스타일의 다수의 운영 의미론이 표준 가정 하에 도메인 이론적 의미론과 일치하는가?
• RQ5 비연속 밀도 함수와 복잡한 고차원 분포는 최소 평가를 통해 의미론적으로 포괄될 수 있는가?

주요 결과

• 모든 보렐 측도, $\mathbb{R}$ 위의 르베그 측도와 비유계 지지 집합을 가진 측도를 포함하여, 최소 평가를 통해 $\mathbf{I}\mathbb{R}_{\bot}$ 위에서 표현 가능함을 보여주며, 최소 평가는 연속 평가의 진부분집합임에도 불구하고 이를 증명한다.
• $\mathbf{Dcpo}$ 위에서 최소 평가의 모나드는 교환 법칙을 만족하므로, 독립적인 난수 추출의 순서 변경을 포함한 프로그램 변환이 정확하게 유지되고 의미론이 보존됨을 보장한다.
• 평가 기반, 감소 기반, 계속 전달 스타일의 세 운영 의미론은 자연스러운 상수 가정 하에 도메인 이론적 의미론과 모두 타당하고 적합하다.
• 정확한 실수 산술을 $\mathbf{I}\mathbb{R}_{\bot}$의 간격 근사치를 통해 사용하면 구현과의 자연스러운 다리를 놓을 수 있으며, 동시에 연속 분포와 소프트 제약 조건의 전 연산 표현력을 유지한다.
• 최소 평가를 통해 비트리비얼한 고차원 분포와 비연속 밀도 함수를 가진 측도를 성공적으로 모델링하여, 도메인 이론에서 연속 함수가 표현력이 떨어진다는 오해를 바로잡는다.
• 최소 평가의 $K$-완비화와 점 연속성에 의한 구성은 모나드가 교환 법칙을 만족함을 보장하며, 이는 이전 도메인 이론적 접근에서의 핵심 과제를 해결한다.