[논문 리뷰] Deriving Probability Density Functions from Probabilistic Functional Programs

Sooraj Bhat, Johannes Borgström외 2명|arXiv (Cornell University)|2017. 04. 04.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 확률적 기능 프로그래밍 언어에서 이산 및 연속 분포를 지원하며 실패를 허용하는 확률 밀도 함수(PDF)를 자동으로 유도하는 타당한 밀도 컴파일러를 제시한다. 통합 원시 타입을 확장하고 유형 안정성 및 정확성을 증명함으로써, MCMC 및 기타 방법을 통한 효율적 추론을 가능하게 하여 과학적 모델링 응용 분야에서 수작업 유도 과정을 크게 감소시킨다.

ABSTRACT

The probability density function of a probability distribution is a fundamental concept in probability theory and a key ingredient in various widely used machine learning methods. However, the necessary framework for compiling probabilistic functional programs to density functions has only recently been developed. In this work, we present a density compiler for a probabilistic language with failure and both discrete and continuous distributions, and provide a proof of its soundness. The compiler greatly reduces the development effort of domain experts, which we demonstrate by solving inference problems from various scientific applications, such as modelling the global carbon cycle, using a standard Markov chain Monte Carlo framework.

연구 동기 및 목표

• 통계적 추론에서 확률 밀도 함수(PDF)가 필요한 요구사항과 확률적 기능 프로그래밍 간 격차를 메우기 위해.
• 연속 및 이산 분포를 포함한 풍부한 언어에서 확률적 프로그램에서 PDF로의 컴파일 과정을 형식적으로 정의하고 정확성을 증명하기 위해.
• 도메인 전문가가 모델을 선언적으로 기술하고 MCMC, 최대우도 추정 및 기타 추론 기법에 사용할 수 있는 PDF를 자동으로 확보할 수 있도록 하기 위해.
• 실패 및 복잡한 제어 흐름을 지원하면서도 유도된 PDF가 수학적으로 타당한 상태를 유지하기 위해.

제안 방법

• 확률적 기능 언어에 함수를 곱형식 위에 통합하는 데 사용되는 새로운 통합 원시 타입 ∫tλ(x₁,…,xn).E를 도입하여 PDF 계산을 가능하게 한다.
• PDF 표현식의 잘 구성된 상태를 보장하는 통합에 대한 유형 규칙을 포함한 목표 언어 ∫un을 위한 유형 체계를 정의한다.
• 프로그램을 해석하고 PDF 값을 실수로 계산하기 위해 항등 모나드를 사용하는 의미론적 의미를 정의한다.
• 유형 체계의 핵심 성질인 치환, 약화, 강화를 증명하여 컴파일 과정의 유형 안정성을 확보한다.
• 컴파일러를 표준 MCMC 파ip라인에 통합하여 실제 과학 모델에서의 엔드 투 엔드 추론을 구현한다.
• 프로그램 구문에서 PDF를 계산하기 위해 기호적 및 수치적 통합을 사용하여 복잡한 제어 구조에서도 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 연속 및 이산 분포를 포함하는 확률적 기능 프로그래밍 언어를 체계적으로 해당 확률 밀도 함수(PDF)로 컴파일할 수 있는가?
• RQ2 실패 및 복잡한 제어 흐름이 포함된 확률적 프로그램에서 유도된 PDF의 정확성을 유지하면서 이를 어떻게 처리할 수 있는가?
• RQ3 혼합 이산-연속 분포가 존재하는 상황에서 밀도 컴파일러의 타당성에 대해 어떤 형식적 보장을 제공할 수 있는가?
• RQ4 자동 PDF 유도가 과학적 모델링 응용 분야에서 개발 부담을 어느 정도 감소시키는가?

주요 결과

• 밀도 컴파일러는 실패, 이산 및 연속 분포를 포함한 광범위한 확률적 프로그램에 대해 정확한 PDF를 유도한다.
• 형식적 유형 체계와 의미론은 컴파일된 PDF가 수학적으로 타당하고 잘 구성된 유형임을 보장한다.
• 표준 MCMC 추론 프레임워크와 원활하게 통합될 수 있으며, 이는 글로벌 탄소 순환 모델에서 입증되었다.
• 조건문 및 중첩 바인딩과 같은 비트리비얼한 프로그램 구조를 지원하며, 기호적 및 수치적 통합을 통해 PDF가 유도된다.
• 과학적 응용 분야에서 수작업 유도 과정을 감소시켜 도메인 전문가가 계산에 집중하기보다는 모델링에 집중할 수 있도록 한다.