[논문 리뷰] Scaling up Hybrid Probabilistic Inference with Logical and Arithmetic Constraints via Message Passing

Zhe Zeng, Paolo Morettin외 3명|arXiv (Cornell University)|2020. 02. 28.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 논리적 및 산술적 제약 조건이 있는 트리 구조 WMI 문제에서 정확한 추론을 가능하게 하는 메시지 전달 기반의 새로운 WMI 솔버인 MP-WMI를 제안한다. 이는 기존의 정확한 솔버들보다 런타임과 확장성 면에서 뛰어나며, 최대 100개의 변수를 처리할 수 있는 최신 기술 수준의 확장성을 달성한다. 또한 동시에 여러 질문에 대한 근사 밀도 계산을 위한 쿼리 간 분할을 지원하여 성능을 크게 향상시킨다.

ABSTRACT

Weighted model integration (WMI) is a very appealing framework for probabilistic inference: it allows to express the complex dependencies of real-world problems where variables are both continuous and discrete, via the language of Satisfiability Modulo Theories (SMT), as well as to compute probabilistic queries with complex logical and arithmetic constraints. Yet, existing WMI solvers are not ready to scale to these problems. They either ignore the intrinsic dependency structure of the problem at all, or they are limited to too restrictive structures. To narrow this gap, we derive a factorized formalism of WMI enabling us to devise a scalable WMI solver based on message passing, MP-WMI. Namely, MP-WMI is the first WMI solver which allows to: 1) perform exact inference on the full class of tree-structured WMI problems; 2) compute all marginal densities in linear time; 3) amortize inference inter query. Experimental results show that our solver dramatically outperforms the existing WMI solvers on a large set of benchmarks.

연구 동기 및 목표

• 기존 WMI 솔버들이 문제의 구조를 간과하거나 좁은 문제 범주에 국한되어 있음에 따라 발생하는 확장성 한계를 해결하기 위해.
• 특히 복잡한 논리적 및 산술적 제약 조건을 가진 문제에 대해 기존 범주를 초월해 처리 가능한 WMI 추론의 경계를 확장하기 위해.
• 단일 쿼리 및 다중 쿼리 워크로드를 모두 지원하는 트리 구조 WMI 문제에서 정확한 추론을 가능하게 하는 메시지 전달 프레임워크를 설계하기 위해.
• 모든 변수의 주변 밀도를 동시에 계산하여 쿼리 간 분할을 실현함으로써 전체 추론 비용을 감소시키기 위해.
• 실제 구조를 가진 대규모 벤치마크에서 제안된 솔버의 확장성과 효율성을 실증적으로 검증하기 위해.

제안 방법

• SMT 공식의 원시 그래프 구조를 기반으로 한 인자화된 WMI 계산 프레임워크를 유도하여 트리 구조 인자 그래프에서 메시지 전달을 가능하게 한다.
• 기호적 통합을 사용하여 국소적으로 통합하는 기존의 수치적 복원 방식을 피하는, 기호적 가중치 함수를 전파하는 새로운 메시지 전달 알고리즘을 설계한다.
• 기호적 통합을 활용하여 단변수 및 다변수 다항식 적분을 효율적으로 계산하며, 단항식의 수에 대해 평균적으로 선형 복잡도를 가진다.
• 한 번의 인자 그래프 순회 동안 모든 주변 확률 밀도와 모멘트를 동시에 계산하여 쿼리 간 분할을 지원한다.
• 복합적인 논리적 및 산술적 제약 조건을 가진 하이브리드 연속-이산 문제를 표현하기 위해 SMT(ℝ) 프레임워크를 활용한다.
• WMI 추론을 트리 구조 인자 그래프에서의 국소 계산의 시리즈로 환원하여, 이 범주에 대해 다항식 시간 내에 정확한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MP-WMI는 기존의 정확한 솔버들보다 더 큰 문제 크기로 WMI 추론을 확장할 수 있는가?
• RQ2 다중 쿼리에 걸쳐 누적 쿼리 응답 시간을 줄이기 위해 쿼리 간 분할이 얼마나 효과적인가?
• RQ3 MP-WMI에서 사용하는 기호적 통합은 기존 솔버에서 사용하는 수치적 통합보다 성능을 향상시키는가?
• RQ4 MP-WMI는 다항식 가중치와 복잡한 제약 조건을 가진 트리 구조 WMI 문제의 전체 범주를 처리할 수 있는가?
• RQ5 다양한 트리 토폴로지가 있는 벤치마크에서 MP-WMI는 최신 기술 수준의 WMI 솔버들과 비교해 성능 면에서 어떻게 다른가?

주요 결과

• MP-WMI는 별 모양 그래프에서는 최대 60개의 변수까지, 경로 및 완전한 삼진수 트리 구조에서는 최대 90개의 변수까지 처리할 수 있으며, WMI-PA와 F-XSDD(BR)의 20개 변수 제한을 크게 초월한다.
• 단일 쿼리 추론에서 MP-WMI는 기호적 통합 덕분에 SMI보다 최대 두 개의 지수 차수 빠르며, 이는 수치 보간보다 평균 복잡도가 낮기 때문이다.
• MP-WMI는 한 번의 순회로 모든 주변 확률 밀도를 동시에 계산함으로써 쿼리 간 분할을 실현하여, 100개의 쿼리에 대해 누적 런타임을 SMI에 비해 최대 두 개의 지수 차수 감소시킨다.
• 이 솔버는 다항식 가중치와 복잡한 논리 제약 조건을 가진 문제를 포함하여, 현재 알려진 가장 큰 정확한 WMI 문제의 클래스에서 정확한 추론을 지원한다.
• 실증 결과는 MP-WMI가 트리 구조 벤치마크에서 모든 기존의 정확한 WMI 솔버들보다 확장성과 효율성 면에서 뛰어나다는 것을 확인한다.
• MP-WMI에서 사용하는 기호적 통합은 고차수 다항식에서 뛰어난 성능을 발휘하며, SMI의 수치적 방법은 차수에 따라 제곱적으로 증가하는 반면 MP-WMI는 더 나은 성능을 보인다.