[논문 리뷰] Loglinear models for first-order probabilistic reasoning

James Cussens|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 48

한 줄 요약

이 논문은 표본 공식의 증명 위에 직접 확률을 정의하기 위해 레이블이 붙은 및 레이블이 없는 확정 문장으로 구성된 스트로스틱 로직 프로그램(SLPs)을 사용하는 일阶 확률 추론을 위한 로그선형 모델 프레임워크를 제안한다. 이는 논리적 변수와 확률적 변수 사이의 일대일 대응을 유지함으로써 일阶 논리의 보존적 확장을 가능하게 하며, 인도크티브 로직 프로그래밍(ILP)을 통해 데이터로부터 로그선형 모델의 특징을 유도할 수 있음을 보여주며, 기존의 일阶 확률 모델에 대한 원칙적인 대안을 제공한다.

ABSTRACT

Recent work on loglinear models in probabilistic constraint logic programming is applied to first-order probabilistic reasoning. Probabilities are defined directly on the proofs of atomic formulae, and by marginalisation on the atomic formulae themselves. We use Stochastic Logic Programs (SLPs) composed of labelled and unlabelled definite clauses to define the proof probabilities. We have a conservative extension of first-order reasoning, so that, for example, there is a one-one mapping between logical and random variables. We show how, in this framework, Inductive Logic Programming (ILP) can be used to induce the features of a loglinear model from data. We also compare the presented framework with other approaches to first-order probabilistic reasoning.

연구 동기 및 목표

• 로그선형 모델과 논리적 증명 구조를 통합하는 원칙적인 일阶 확률 추론 프레임워크를 개발하는 것.
• 원자 공식의 증명 위에 직접 확률을 정의하여 원자 공식으로의 마진화를 가능하게 하는 것.
• 논리적 변수와 확률적 변수 사이의 일대일 대응을 유지함으로써 일阶 논리의 보존적 확장을 보장하는 것.
• 인도크티브 로직 프로그래밍(ILP)을 통해 데이터로부터 로그선형 모델의 특징을 유도할 수 있도록 하는 것.
• 제안된 프레임워크를 기존의 일阶 확률 추론 접근법과 비교하는 것.

제안 방법

• 증명 위의 공동 확률 분포를 정의하기 위해 레이블이 붙은 및 레이블이 없는 확정 문장으로 구성된 스트로스틱 로직 프로그램(SLPs)을 사용한다.
• 특징이 증명의 구조와 SLP 문장으로부터 유도되는 로그선형 모델을 통해 증명에 확률을 할당한다.
• 증명 수준의 확률에서 원자 공식으로의 확률을 도출하기 위해 마진화를 적용한다.
• 일阶 논리의 논리적 변수와 확률 모델의 확률적 변수 사이의 일대일 대응을 유지함으로써 논리적 일致성을 보장한다.
• 관측된 데이터로부터 로그선형 모델의 특징 함수를 유도하기 위해 인도크티브 로직 프로그래밍(ILP)을 활용한다.
• 기존의 일阶 확률 모델과의 비교를 통해 프레임워크의 표현력과 일관성에서의 우수성을 강조한다.

실험 결과

연구 질문

• RQ1 로그선형 모델은 어떻게 증명 위에 직접 확률을 할당하는 일阶 확률 추론을 지원하도록 적응시킬 수 있는가?
• RQ2 논리적 변수와 확률적 변수 사이의 일대일 대응을 유지할 경우 모델의 일관성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 인도크티브 로직 프로그래밍(ILP)은 일阶 환경에서 데이터로부터 로그선형 모델의 특징 함수를 효과적으로 유도할 수 있는가?
• RQ4 기존의 일阶 확률 모델과 비교할 때 제안된 프레임워크는 표현력과 추론 효율성 측면에서 어떻게 다른가?
• RQ5 원자 공식에 직접 확률을 정의하는 것보다 증명 위에 확률을 정의하는 데 이론적 및 실용적 이점은 무엇인가?

주요 결과

• 프레임워크는 논리적 변수와 확률적 변수 사이의 일대일 대응을 유지함으로써 일阶 논리의 보존적 확장을 제공한다.
• 증명의 구조와 SLP 문장에서 유도된 특징을 바탕으로 로그선형 모델을 사용해 증명 위에 확률을 정의한다.
• 증명에 대한 마진화는 원자 공식에 대한 유효한 확률을 도출하여 일阶 논리와의 일관성을 보장한다.
• ILP를 효과적으로 활용하여 데이터로부터 로그선형 모델의 특징 함수를 유도할 수 있어 데이터 기반 모델 학습이 가능하다.
• 확률을 증명 구조에 기반시킴으로써 기존의 일阶 확률 모델에 대한 원칙적인 대안을 제공한다.
• 프레임워크는 통합적이고 해석 가능한 모델 내에서 논리적 추론과 확률적 추론을 모두 지원한다.