[논문 리뷰] New Liftable Classes for First-Order Probabilistic Inference

Seyed Mehran Kazemi, Angelika Kimmig외 2명|ORCA Online Research @Cardiff (Cardiff University)|2016. 10. 26.

Bayesian Modeling and Causal Inference인용 수 19

한 줄 요약

이 논문은 도메인 재귀 추론 규칙을 재활용하여 첫째 순서 확률적 추론을 위한 새로운 이론적 클래스 S²FO² 및 S²RU를 도입한다. 이는 이전에 비계산 가능했던 모델, 예를 들어 S4 문제와 생일 역설에 대해 다항 시간 내 추론을 가능하게 한다. 저자들은 도메인 재귀가 이전의 클래스들보다 훨씬 넓은 범위의 도메인-라이프트된 추론을 가능하게 함을 증명한다.

ABSTRACT

Statistical relational models provide compact encodings of probabilistic dependencies in relational domains, but result in highly intractable graphical models. The goal of lifted inference is to carry out probabilistic inference without needing to reason about each individual separately, by instead treating exchangeable, undistinguished objects as a whole. In this paper, we study the domain recursion inference rule, which, despite its central role in early theoretical results on domain-lifted inference, has later been believed redundant. We show that this rule is more powerful than expected, and in fact significantly extends the range of models for which lifted inference runs in time polynomial in the number of individuals in the domain. This includes an open problem called S4, the symmetric transitivity model, and a first-order logic encoding of the birthday paradox. We further identify new classes S2FO2 and S2RU of domain-liftable theories, which respectively subsume FO2 and recursively unary theories, the largest classes of domain-liftable theories known so far, and show that using domain recursion can achieve exponential speedup even in theories that cannot fully be lifted with the existing set of inference rules.

연구 동기 및 목표

• 오랫동안 불필요하다고 여겨져 온 도메인 재귀 추론 규칙을 재평가하고, 이 규칙이 도메인-라이프트된 추론의 범위를 어떻게 확장하는지 보여주기 위해.
• S4 모델과 대칭성 전이 모델과 같은 첫째 순서 확률적 추론 분야의 열린 문제를 해결하기 위해, 효율적인 추론 방법이 부족했던 문제들을 해결하기 위해.
• 기존의 클래스들인 FO² 및 재귀적으로 단일(Recursively Unary, RU)을 포함하는 새로운 라이프트 가능 클래스 S²FO² 및 S²RU를 공식적으로 정의하고 증명하기 위해.
• 기존의 추론 규칙으로는 완전히 라이프트되지 않는 이론들에서도 도메인 재귀가 지수적 속도 향상을 가능하게 하는지 확인하기 위해.
• WFOMC 기반 추론에 도메인 재귀를 적용하여, 이 새로운 클래스들에 대해 다항 시간 내 추론이 가능하게 하고, 분할 함수의 효율적 계산을 가능하게 하기 위해.

제안 방법

• 도메인 크기의 귀납을 통해 도메인 재귀 규칙을 재활용하고, 한 개체를 고정하여 문제를 더 작은 인스턴스로 축소함으로써, 도메인 크기 기반의 귀납을 적용함.
• SRL 모델을 표현하고 추론하기 위해 가중치가 부여된 첫째 순서 모델 카운팅(WFOMC)을 기반 형식으로 사용함으로써, 추론 복잡도의 정밀한 분석이 가능해짐.
• 도메인 재귀를 반복적으로 적용하여 하위 문제의 도메인 크기를 줄이고, WFOMC 결과를 캐싱하여 재계산을 방지함으로써 다항 시간 실행 보장.
• S²FO² 및 S²RU 클래스를 도메인 재귀가 효과적으로 적용될 수 있도록 하는 새로운 문장 집합 α(S)를 도메인 FO² 및 RU에 추가하여 정의함.
• 복잡한 논리적 구조를 다룰 수 있도록 도메인 재귀와 함께 라이프트된 케이스 분석 및 분해 규칙을 활용함으로써, 도메인-라이프트된 복잡도를 유지함.
• 도메인 재귀에 대한 닫힘을 증명하기 위해, 규칙를 적용한 후에 유도된 하위 이론이 원래 이론과 동형이지만 인구 수가 더 작은 구조임을 보여줌으로써, 재귀적 적용이 가능함을 입증함.

실험 결과

연구 질문

• RQ1 기존에 알려진 라이프트 가능 클래스 외부의 모델에 대해서도 도메인 재귀 추론 규칙이 이전보다 더 강력한지, 도메인-라이프트된 추론을 가능하게 하는지 입증할 수 있는가?
• RQ2 S4 모델에 대해 도메인 재귀가 다항 시간 내 추론을 가능하게 하는가? 이는 첫째 순서 확률적 추론 분야에서 열린 문제이다.
• RQ3 기존의 클래스들인 FO² 및 RU를 포함하는 더 큰 새로운 도메인-라이프트 가능 이론의 클래스들을 도메인 재귀를 통해 정의할 수 있는가?
• RQ4 기존의 추론 규칙으로는 완전히 라이프트되지 않는 모델들에서도 도메인 재귀를 통해 지수적 속도 향상이 달성 가능한가?
• RQ5 생일 역설을 첫째 순서 논리로 표현할 수 있으며, 도메인 재귀 기반 추론을 통해 효율적으로 계산할 수 있는가?

주요 결과

• 도메인 재귀 규칙을 통해 S4 모델에 대해 도메인-라이프트된 추론이 가능해졌으며, 이는 Beame 등에 의해 제기된 열린 문제를 해결한 것이다 [3].
• 대칭성 전이 모델은 FO²나 RU에 속하지 않지만, 도메인 재귀를 통해 도메인-라이프트 가능하다는 게 입증되었다.
• 생일 역설은 첫째 순서 논리로 표현 가능하며, 도메인 재귀 기반 추론을 통해 지수적 속도 향상을 달성하여 기존의 그라운딩 기반 방법보다 빠르게 계산 가능하다.
• S²FO² 및 S²RU는 공식적으로 정의되었고, 도메인 재귀에 대해 닫혀 있음이 증명되었으며, S²FO²는 FO²를 포함하고 S²RU는 RU를 포함한다.
• S²FO² 또는 S²RU에 속하는 이론을 그라운딩하는 기존의 정확한 라이프트된 추론 알고리즘들은, 제안된 도메인 재귀 접근법보다 지수적으로 느리다는 게 입증되었다.
• 논문은 도메인 재귀가 이전의 추론 규칙으로는 완전히 라이프트되지 않는 이론들에서도 지수적 속도 향상을 제공함을 입증하여, 추론 복잡도를 높이는 데 있어 그 기초적인 힘을 보여주었다.