[논문 리뷰] Probabilistic Programming Concepts

Luc De Raedt, Angelika Kimmig|arXiv (Cornell University)|2013. 12. 16.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 7

한 줄 요약

이 논문은 확률적 논리 프로그래밍 언어들 사이에서 랜덤 변수, 부정, 시간, 연속 분포와 같은 핵심 확률적 프로그래밍 개념들을 식별하고, 실행 메커니즘을 분석하며, 이를 추론 기법에 매핑한다. ProbLog, PRISM, ICL과 같은 최신 언어들을 비교할 수 있는 통합 프레임워크를 제공하며, 서로 다른 프리미티브들이 동일한 개념을 어떻게 실현하는지, 그리고 추론 방법이 언어의 기능과 한계를 어떻게 결정하는지 강조한다.

ABSTRACT

A multitude of different probabilistic programming languages exists today, all extending a traditional programming language with primitives to support modeling of complex, structured probability distributions. Each of these languages employs its own probabilistic primitives, and comes with a particular syntax, semantics and inference procedure. This makes it hard to understand the underlying programming concepts and appreciate the differences between the different languages. To obtain a better understanding of probabilistic programming, we identify a number of core programming concepts underlying the primitives used by various probabilistic languages, discuss the execution mechanisms that they require and use these to position state-of-the-art probabilistic languages and their implementation. While doing so, we focus on probabilistic extensions of logic programming languages such as Prolog, which have been developed since more than 20 years.

연구 동기 및 목표

• 확률적 프로그래밍 언어의 복잡성과 다양성이 증가함에 따라, 이들의 기초적인 유사점과 차이점을 이해하기 어려워지는 문제를 해결하기 위해.
• 다양한 언어들에 놓여 있는 핵심 확률적 프로그래밍 개념들을 식별하고 형식화하여, 문법적 차이를 넘어 의미론적 및 계산 원리로의 이동을 위해.
• 각 개념이 요구하는 실행 메커니즘과 추론 절차를 분석함으로써, 기존 시스템들 간의 원칙적인 비교를 가능하게 하기 위해.
• 주요 확률적 논리 프로그래밍 언어들(예: ProbLog, PRISM, ICL)과 그 구현체들을 이러한 개념들과 추론 기법들에 따라 위치지어 보다 체계적인 이해를 제공하기 위해.
• 기존의 오래된 또는 불완전한 설문 조사들로 인해 생긴 격차를 메우기 위해, 개념, 프리미티브, 추론 메커니즘을 통합하는 종합적이고 최신의 설문 조사 제공하기 위해.

제안 방법

• 이산 및 연속 랜덤 변수, 실패에 의한 부정, 시간과 동역학, 메타콜, 일반화된 레이블과 같은 핵심 확률적 프로그래밍 개념들을 식별한다.
• 추론 메커니즘을 정확한 및 근사적, 전방 및 후방 추론, 샘플링 기반 접근 방식으로 분류하고, 각 개념과의 호환성을 분석한다.
• 랜덤 변수가 기본 사실에 대응하고 논리 프로그램이 조건부 의존성을 정의하는 분포 의미론(Sato, 1995)을 통합적 기초로 사용한다.
• 문법적 프리미티브(예: 주석이 달린 논리합, 스위치, 유연한 확률)를 그 기초 개념에 매핑하여, 서로 다른 언어들이 동일한 개념을 어떻게 다르게 실현하는지 보여준다.
• 실행 메커니즘을 통합적 렌즈로 사용하여, 각 개념과 추론 방법에 대한 지원도를 기반으로 구현체(예: ProbLog1/2, PRISM, cplint, AILog2)를 평가한다.
• 스토캐스틱 메모이제이션과 증명 검색이 효율적인 추론, 특히 후방 추론과 정확한 추론을 가능하게 하는 역할을 논의한다.

실험 결과

연구 질문

• RQ1 다양한 확률적 언어들 뒤에 있는 기초적인 확률적 프로그래밍 개념은 무엇이며, 서로 다른 시스템들 사이에서 어떻게 관련되어 있는가?
• RQ2 정확한 vs. 근사적, 전방 vs. 후방, 샘플링 vs. 순열과 같은 다양한 추론 메커니즘이 핵심 확률적 개념의 구현을 어떻게 지원하거나 제약하는가?
• RQ3 왜 분포 의미론은 확률적 논리 프로그래밍 언어들을 통합하는 데 적합한 기초가 되는가? 그리고 통계적 상관계관계 학습의 지식 기반 모델 구성과는 어떻게 다를까?
• RQ4 전방 추론에서 정확한 추론의 한계는 무엇이며, 왜 후방 추론이 실무에서 더 널리 채택되어 왔는가?
• RQ5 특히 후방 샘플링을 포함한 샘플링 기반 추론 접근 방식은 연속 분포와 일반화된 레이블과 같은 복잡한 개념을 어떻게 지원하는가?

주요 결과

• 분포 의미론은 랜덤 변수가 기본 사실에 대응하고 논리 프로그램이 조건부 의존성을 정의하는 통합적 기초를 제공한다.
• 후방 추론을 이용한 정확한 추론은 가장 널리 지원되는 접근 방식으로, ProbLog1, cplint, PITA, AILog2와 같은 시스템에서 구현되어 있으며, 효율성을 높이기 위해 종종 스토캐스틱 메모이제이션을 사용한다.
• 전방 샘플링은 이론적으로 가능하지만, 조사된 시스템 중 어느 곳에서도 아직 구현되어 있지 않으며, 후방 샘플링은 일반화된 레이블를 제외한 모든 개념을 지원한다.
• 연속 분포는 정확한 추론에서는 구현되지 않으며, 수많은 값들을 처리해야 하므로 샘플링 기반 접근 방식에서만 실용적으로 지원된다.
• 유연한 확률과 실패에 의한 부정은 대부분의 시스템에서 지원되며, ProbLog1과 cplint에서는 일반화된 레이블과 하이브리드 모델(예: 하이브리드 ProbLog)과 같은 고급 기능도 제공한다.
• 추론 방법의 선택은 어떤 프로그래밍 개념이 효과적으로 지원될 수 있는지 직접 결정하며, 후방 샘플링은 가장 유연하고 일반적인 접근 방식이다.