[논문 리뷰] Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming

Pedro Zuidberg Dos Martires, Anton Dries외 1명|arXiv (Cornell University)|2018. 07. 02.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 7

한 줄 요약

이 논문은 가중 모델 통합(WMI)과 대수적 모델 카운팅(AMC)을 사용한 하이브리드 확률론적 논리 프로그래밍을 위한 새로운 지식 컴파일 기법을 소개한다. 이 기법은 연속적이고 이산적인 랜덤 변수에 대한 정확한 추론을 가능하게 한다. 본 논문은 지식 컴파일을 활용한 WMI를 위한 솔버인 Symbo와, 지식 컴파일(KC)을 통한 기호적 정확한 추론을 지원하는 하이브리드 논리 프로그래밍 언어인 HAL-ProbLog을 제안하며, SMT 기반 방법에 비해 훨씬 높은 효율성을 확보한다.

ABSTRACT

In probabilistic reasoning, the traditionally discrete domain has been elevated to the hybrid domain encompassing additionally continuous random variables. Inference in the hybrid domain, however, usually necessitates to condone trade-offs on either the inference on discrete or continuous random variables. We introduce a novel approach based on weighted model integration and algebraic model counting that circumvents these trade-offs. We then show how it supports knowledge compilation and exact probabilistic inference. Moreover, we introduce the hybrid probabilistic logic programming language HAL-ProbLog, an extension of ProbLog, to which we apply our inference approach.

연구 동기 및 목표

• 이산적이고 연속적인 랜덤 변수를 포함하는 하이브리드 도메인에서 정확한 확률론적 추론을 해결하기 위한 것.
• 기존의 WMI 접근법이 제한된 확장성과 표현력을 가진 SMT 솔버에 의존함으로써 발생하는 상충관계를 극복하기 위한 것.
• 지식 컴파일 기법을 WMI에 통합하여 하이브리드 확률론적 논리 프로그래밍에서 기호적 정확한 추론을 가능하게 하기 위한 것.
• 반복적인 SMT 해결을 피하고 지식 컴파일을 활용한 WMI를 위한 새로운 솔버인 Symbo를 개발하기 위한 것.
• HAL-ProbLog를 통해 aProbLog를 하이브리드 기능으로 확장하여 연속적이고 이산적인 변수에 대한 완전한 기호적 추론을 가능하게 하기 위한 것.

제안 방법

• 확률 밀도 반군을 사용하여 대수적 모델 카운팅(AMC) 프레임워크 내에서 가중 모델 통합(WMI)을 정의한다.
• 확률 밀도 반군을 정의하여 AMC를 연속 분포로 일반화함으로써 WMC를 확장한다.
• 지식 컴파일 기법(예: SDD)을 사용하여 논리 이론을 효율적인 산술 회로로 컴파일하여 WMI 평가를 최적화한다.
• SMT(𝒩RA) 공식을 산술 회로로 컴파일하고 기호적 통합을 수행하는 WMI 솔버인 Symbo를 구현한다.
• 하이브리드 추론을 지원하기 위해 aProbLog에 확률 밀도 반군을 통합하여 HAL-ProbLog를 확장한다.
• 기존의 기호적 단순화 연구 결과를 활용하여 도출된 대수적 표현의 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 지식 컴파일은 하이브리드 확률 모델에 대한 가중 모델 통합(WMI)에 효과적으로 적용될 수 있는가?
• RQ2 확률 밀도 반군을 통해 대수적 모델 카운팅(AMC)은 어떻게 연속적 랜덤 변수를 지원하도록 확장될 수 있는가?
• RQ3 지식 컴파일은 하이브리드 도메인에서 WMI 기반 추론의 효율성과 확장성에 기여하는가?
• RQ4 HAL-ProbLog와 같은 하이브리드 확률론적 논리 프로그래밍 언어는 기호적 컴파일된 추론으로부터 어느 정도의 이점을 얻을 수 있는가?
• RQ5 KC 기반 WMI의 성능은 하이브리드 추론 작업에서 SMT 기반 접근법과 비교해 볼 때 어떻게 되는가?

주요 결과

• Symbo는 SMT(𝒩RA) 공식을 산술 회로로 컴파일함으로써 반복적인 SMT 해결을 줄여 WMI 추론에서 뚜렷한 속도 향상을 달성한다.
• Symbo의 지식 컴파일 기법은 동일한 이론에 대해 여러 개의 질의를 처리할 경우 반복적인 SMT 해결이 줄어들어 특히 유리하다.
• HAL-ProbLog는 지식 컴파일을 통한 추론을 통해 ProbLog를 하이브리드 추론 기능으로 성공적으로 확장하였으며, 연속적이고 이산적인 변수에 대한 기호적 정확한 추론을 가능하게 하였다.
• 벤치마크 결과에 따르면, Symbo는 하이브리드 도메인에서 SMT 기반 솔버인 PSI를 능가하며, ClinicalTrial의 경우 54.6ms, ClickGraph의 경우 4300ms의 평가 시간을 기록하여 확장성을 입증하였다.
• 기존의 WMI 방법이 조각별 다항식이나 가우시안에 국한된 것에 비해, 본 방법은 더 넓은 확률 밀도 및 제약 조건의 클래스를 지원한다.
• AMC와 WMI의 통합은 근사화 없이 정확한 추론을 가능하게 하며, 밀도 분해나 샘플링이 필요 없게 한다.