[논문 리뷰] Probabilistic Inference Modulo Theories

Rodrigo de Salvo Braz, Ciaran O’Reilly외 2명|arXiv (Cornell University)|2016. 05. 26.

Bayesian Modeling and Causal Inference인용 수 15

한 줄 요약

이 논문은 제한된 정수 위에서 명제 논리, 등식, 차분 산술을 지원하는 확률적 추론 모듈로 이론을 일반화한 업그레이드된 정확한 추론 알고리즘인 SGDPLL(T)을 소개한다. 기호적 조작과 Faulhaber의 공식을 통해 도메인 크기와 관계없이 일정한 시간 복잡도를 달성하며, 실험 결과 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

We present SGDPLL(T), an algorithm that solves (among many other problems) probabilistic inference modulo theories, that is, inference problems over probabilistic models defined via a logic theory provided as a parameter (currently, propositional, equalities on discrete sorts, and inequalities, more specifically difference arithmetic, on bounded integers). While many solutions to probabilistic inference over logic representations have been proposed, SGDPLL(T) is simultaneously (1) lifted, (2) exact and (3) modulo theories, that is, parameterized by a background logic theory. This offers a foundation for extending it to rich logic languages such as data structures and relational data. By lifted, we mean algorithms with constant complexity in the domain size (the number of values that variables can take). We also detail a solver for summations with difference arithmetic and show experimental results from a scenario in which SGDPLL(T) is much faster than a state-of-the-art probabilistic solver.

연구 동기 및 목표

• 확률 모델에서 산술, 관계, 기호화된 기호를 포함한 풍부한 논리적 구조를 원천적으로 처리할 수 있는 효율적이고 정확한 확률적 추론 방법의 부족을 해결한다.
• 기본적으로 모델을 큰 표로 전환하거나 이론적 기반 없이 근사 추론을 사용하는 기존 접근법의 한계를 극복한다.
• 배경 논리 이론 T로 파arameterized된, 업그레이드된(도메인 크기와 관계없이 일정한 복잡도)이고 정확한 일반 추론 프레임워크를 개발한다.
• 다양한 제약 조건이 있는 정수 색인에 대한 합산을 대수 기법(예: Faulhaber의 공식)을 사용해 도메인 크기와 관계없이 효율적으로 계산할 수 있도록 한다.
• 데이터 구조와 관계 모델을 포함한 더 풍부한 논리 언어로의 확률적 추론 확장을 위한 기반을 제공한다.

제안 방법

• 배경 논리 이론 T를 매개변수로 하여 DPLL 알고리즘의 일반화를 통해 기호 표현과 기호화된 공식을 처리한다.
• SMT 스타일의 이론 해결을 확장하여 만족 가능성 외에도 모델 수세기 및 실수 표현에 대한 기호적 합산을 지원한다.
• 기본 수준의 열거를 피하기 위해 자유 변수와 제약 조건을 포함한 합산을 기호적 조작을 통해 표현하고 계산한다.
• Faulhaber의 공식을 사용해 제한된 정수 위의 차분 산술을 위한 전용 솔버를 구현하여 다항식의 합을 도메인 크기와 관계없이 일정한 시간 내에 계산한다.
• 이항 전개와 재귀적 분해를 적용하여 다항식 합산을 베르누이 수를 포함하는 알려진 닫힌 표현식으로 환원한다.
• 대수적 항등식을 활용하고 다항식 차수에 기반한 계수를 사전 계산하여 복잡도가 도메인 크기와 독립적으로 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 복잡한 논리 모델에 대한 확률적 추론은 기호화 없이 정확하고 효율적으로 수행될 수 있는가?
• RQ2 업그레이드된 추론은 일阶 논리 이외의 더 풍부한 이론, 예를 들어 차분 산술과 등식으로 일반화될 수 있는가?
• RQ3 대수 기법을 사용해 정수 색인에 대한 기호적 합산이 도메인 크기와 관계없이 수행될 수 있는가?
• RQ4 복잡한 논리 제약 조건이 있는 상황에서 SGDPLL(T)의 성능은 최신 기술 기반 확률적 솔버와 비교해 어떻게 되는가?
• RQ5 제안된 솔버의 다항식 합산에 대한 계산 복잡도는 무엇이며, 다항식 차수와 변수 간 의존성에 따라 어떻게 스케일링되는가?

주요 결과

• SGDPLL(T)는 Faulhaber의 공식을 사용해 제한된 정수 위의 합산에 대해 도메인 크기와 관계없이 일정한 시간 복잡도를 달성함으로써 진정으로 업그레이드된 성능을 보였다.
• 차분 산술 및 다항식 합산을 위한 솔버는 색인 도메인 크기와 관계없이 실행되며, 최대 다항식 차수 n에 대해 O(n⁵) 이내의 복잡도를 갖는다.
• 복잡한 논리 제약 조건과 큰 도메인을 포함한 실제 응용 사례에서 최신 기술 기반 확률적 솔버보다 뛰어난 성능을 보였다.
• Faulhaber의 공식을 통해 ∑x:l<x≤u t₀ + t₁x + … + tₙxⁿ 형태의 합을 닫힌 표현식으로 정확하게 평가할 수 있으며, 기저 인스턴스화를 피할 수 있다.
• 다양한 대수 연산을 거쳐도 변수의 차수는 선형적으로 증가하므로, 식의 복합화 조건에서도 복잡도가 제어 가능하다.
• 자유 변수를 기반으로 한 기호 출력을 지원하여 확률적 질의의 탄력적이고 압축된 표현을 가능하게 한다.