[논문 리뷰] Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms

Yi Wu, Siddharth Srivastava외 3명|arXiv (Cornell University)|2018. 06. 06.

Bayesian Modeling and Causal Inference인용 수 12

한 줄 요약

이 논문은 이산-연속 혼합 분포를 위한 확률 프로그래밍 의미론을 일반화하기 위해 측도 이론적 베이지안 네트워크(MTBN)를 도입한다. 이를 통해 하이브리드 랜덤 변수의 정확한 모델링이 가능해지며, 두 가지 증명 가능하게 올바른 추론 알고리즘—순서 기반 가능도 가중치(LLLW)와 순서 기반 입자 필터(LPF)—를 제안하고 BLOG에서 검증하여, 기존 표준 방법이 확률 질량과 밀도를 혼동하여 실패하는 상황에서 정확한 추론을 가능하게 한다.

ABSTRACT

Despite the recent successes of probabilistic programming languages (PPLs) in AI applications, PPLs offer only limited support for random variables whose distributions combine discrete and continuous elements. We develop the notion of measure-theoretic Bayesian networks (MTBNs) and use it to provide more general semantics for PPLs with arbitrarily many random variables defined over arbitrary measure spaces. We develop two new general sampling algorithms that are provably correct under the MTBN framework: the lexicographic likelihood weighting (LLW) for general MTBNs and the lexicographic particle filter (LPF), a specialized algorithm for state-space models. We further integrate MTBNs into a widely used PPL system, BLOG, and verify the effectiveness of the new inference algorithms through representative examples.

연구 동기 및 목표

• 이산 및 연속 분포를 혼합한 랜덤 변수를 다룰 수 있는 확률 프로그래밍 언어(PPL)의 공식적 의미론 부재 문제를 해결하기 위해.
• 기하급수적 측도 공간, 특히 가산이 아닌 부모 집합과 개방-우주 의미론을 포함한 임의의 측도 공간을 지원하는 일반화된 의미론 기반 구축하기 위해.
• 하이브리드 분포에서 이산 확률 질량과 연속 확률 밀도를 정확히 구분할 수 있는 추론 알고리즘 설계하기 위해.
• 새로운 의미론과 알고리즘들을 널리 사용되는 PPL인 BLOG에 통합하고, 실제 모델에서의 효과성 평가하기 위해.

제안 방법

• 임의의 측도 공간과 혼합 분포를 지원하는 일반화된 베이지안 네트워크로서 측도 이론적 베이지안 네트워크(MTBN)를 도입한다.
• 모든 MTBN이 입력 공간 위에 고유한 확률 측도를 나타내도록 보장하는 공식적인 측도 이론적 의미론을 정의한다.
• 이산 질량과 연속 밀도를 사전 순서 기반으로 정렬함으로써 올바르게 처리하는 샘플링 알고리즘인 순서 기반 가능도 가중치(LLW)를 개발한다.
• 상태공간 모델을 위한 특화된 알고리즘인 순서 기반 입자 필터(LPF)를 설계하여 혼합 분포 하에서도 정확성을 유지한다.
• BLOG PPL에 MTBN과 새로운 추론 알고리즘을 구현하여, 혼합 분포를 지원하도록 문법과 타입 체계를 확장한다.
• 증거 및 조건부 분포에서 이산 및 연속 구성 요소의 구분을 존중하는 올바른 추론 코드를 생성하기 위해 수정된 BLOG 컴파일러를 사용한다.

실험 결과

연구 질문

• RQ1 확률 프로그래밍 언어는 어떻게 이산 및 연속 분포를 혼합한 랜덤 변수를 공식적으로 확장할 수 있는가?
• RQ2 이산 질량과 연속 밀도를 혼합하여 조합할 때 일관성과 정확성을 보장하는 의미론적 기반은 무엇인가?
• RQ3 이산 확률 질량과 연속 확률 밀도의 차이를 증명 가능하게 다룰 수 있는 추론 알고리즘을 설계할 수 있는가?
• RQ4 표준 추론 방법이 하이브리드 분포를 잘못 다루어 실패하는 실세계 모델에서 신규 알고리즘의 성능은 어떠한가?
• RQ5 확장된 의미론과 추론 기법은 하이브리드 센서와 임계값 측정을 포함한 실제 적용 분야에서 추론 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• GPA 모델에서 LLW는 GPA가 4.0인 학생이 미국 출신이어야 한다고 정확히 추론하는 반면, 표준 가능도 가중치 방법은 밀도와 질량을 혼동하여 인도를 더 선호하는 잘못된 결과를 낸다.
• 노이즈 있는 척도 모델에서, 척도가 균형을 이루면 LLW는 항상 잘못된 동전이 존재하지 않는 정확한 사후확률을 반환하지만, 단순한 가능도 가중치 방법은 노이즈 파라미터 σ에 따라 잘못된 결과로 수렴한다.
• 추적 모델에서 LPF는 정확한 반경 측정값을 기반으로 정확히 항공기의 실제 위치를 예측하며, 이는 범위를 벗어났다는 증거로 정확히 해석하기 때문이다. 반면 단순한 입자 필터는 정확한 사후확률로 수렴하지 못한다.
• 예측된 항공기 위치와 진짜 위치 사이의 평균 제곱오차는 LPF가 단순한 입자 필터보다 유의미하게 낮으며, 입자 수가 증가함에 따라 LPF는 진짜 값에 수렴한다.
• BLOG 내의 구현은 원래 BLOG 의미론에서 표현이 불가능했던, 정확한 범위를 출력하는 레이더와 같은 잘린 센서를 모델링할 수 있도록 언어를 성공적으로 확장한다.
• 결과적으로 표준 PPL 추론 알고리즘은 이산-연속 혼합 분포에 적용될 경우 잘못된 결과를 도출하는 반면, 제안된 알고리즘은 MTBN 프레임워크 하에서 증명 가능하게 정확하다.