[논문 리뷰] Learning Probabilistic Logic Programs in Continuous Domains

Stefanie Speichert, Vaishak Belle|arXiv (Cornell University)|2018. 07. 15.

Bayesian Modeling and Causal Inference참고 문헌 37인용 수 5

한 줄 요약

이 논문은 고정된 파라미터 분포 가정 없이 연속적이고 혼합 이산-연속 데이터로부터 확률적 논리 프로그램을 학습하는 새로운 프레임워크를 소개한다. 복잡한 밀도 함수를 모델링하기 위해 조각별 다항식 근사법을 사용하며, 이를 상징적 규칙 학습과 통합하여 연속 영역에서 구성적이고 해석 가능하며 효율적인 추론을 가능하게 한다—이것은 확률적 논리 프로그래밍에서 임의의 연속 분포를 학습하는 데 있어 최초의 접근법이다.

ABSTRACT

The field of statistical relational learning aims at unifying logic and probability to reason and learn from data. Perhaps the most successful paradigm in the field is probabilistic logic programming: the enabling of stochastic primitives in logic programming, which is now increasingly seen to provide a declarative background to complex machine learning applications. While many systems offer inference capabilities, the more significant challenge is that of learning meaningful and interpretable symbolic representations from data. In that regard, inductive logic programming and related techniques have paved much of the way for the last few decades. Unfortunately, a major limitation of this exciting landscape is that much of the work is limited to finite-domain discrete probability distributions. Recently, a handful of systems have been extended to represent and perform inference with continuous distributions. The problem, of course, is that classical solutions for inference are either restricted to well-known parametric families (e.g., Gaussians) or resort to sampling strategies that provide correct answers only in the limit. When it comes to learning, moreover, inducing representations remains entirely open, other than "data-fitting" solutions that force-fit points to aforementioned parametric families. In this paper, we take the first steps towards inducing probabilistic logic programs for continuous and mixed discrete-continuous data, without being pigeon-holed to a fixed set of distribution families. Our key insight is to leverage techniques from piecewise polynomial function approximation theory, yielding a principled way to learn and compositionally construct density functions. We test the framework and discuss the learned representations.

연구 동기 및 목표

• 연속적이고 혼합 이산-연속 데이터에 대한 확률적 논리 프로그램 학습 방법의 부족을 해결하기 위해.
• 기존 접근법이 가우시안과 같은 고정된 파라미터 가족에 국한되어 있다는 한계를 극복하기 위해.
• 연속 확률적 논리 프로그램의 학습과 추론을 위한 구성적이고 해석 가능하며 효율적인 방법을 개발하기 위해.
• 기존 PLP 시스템과의 모듈러 인터페이스를 통해 이산-연속 확률 공간에서의 상징적 통합과 추론을 가능하게 하기 위해.
• 사전에 정의된 분포 가족에 데이터를 강제로 맞추지 않고 데이터 기반의 비모수적 방식으로 밀도 함수와 규칙을 유도하기 위해.

제안 방법

• 고정된 파라미터 형태를 가정하지 않고 임의의 연속 밀도 함수를 모델링하기 위해 조각별 다항식 근사 이론을 활용한다.
• 구간으로 분할된 영역에서 다항식 세그먼트의 조합으로 연속 확률 밀도를 표현함으로써 정확한 통합과 효율적 추론을 가능하게 한다.
• 연속 변수를 간격 기반의 술어로 변환하기 위해 이산화 전략(예: 거리 기반 또는 지도 학습 기반)을 사용한다.
• 기본적인 이산 인도크티브 논리 프로그래밍(예: ProbFOIL)을 사용하여 이산화된 연속 변수와 이산 술어 위에서 결정론적 규칙을 학습한다.
• 외부 인터페이스를 통해 ProbLog에 통합하여 학습된 밀도 함수와 상징적 추론을 결합함으로써 성공 확률 계산이 가능한 하이브리드 쿼리 지원.
• 밀도 학습과 규칙 학습이 분리된 모듈러 아키텍처를 채택하여 기존 확률적 논리 프로그래밍 시스템과의 재사용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 고정된 파라미터 가족(예: 가우시안)을 가정하지 않고 연속 데이터로부터 확률적 논리 프로그램을 학습할 수 있는가?
• RQ2 어떻게 복잡하고 임의의 형태의 연속 확률 밀도를 상징적이고 해석 가능한 방식으로 표현하고 조합할 수 있는가?
• RQ3 기존의 이산 규칙 학습기들이 하이브리드 환경에서 이산화된 연속 특징 위에서 규칙을 학습하는 데 얼마나 잘 적응할 수 있는가?
• RQ4 비지도 학습 대비 지도 학습 기반의 이산화 방식이 규칙의 압축성과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 조각별 다항식 밀도의 상징적 통합이 확률적 논리 프로그래밍과 효율적으로 결합되어 정확한 추론을 가능하게 할 수 있는가?

주요 결과

• 이 프레임워크는 사전에 정의된 파라미터 가족을 가정하지 않고 연속 데이터로부터 해석 가능한 확률적 논리 프로그램을 성공적으로 학습하여, 복잡한 밀도 형태의 표현을 가능하게 한다.
• 지도 기반 이산화 방법은 비지도 방법보다 더 압축된 규칙을 생성하며, 동일한 버킷 수에서 더 짧은 규칙 본문, 더 적은 부정 수, 더 작은 전체 프로그램 크기를 보인다.
• 동일한 버킷 크기에서 서로 다른 이산화 방식에 대해 동일한 문법적 규칙이 유도되는 것으로 나타나, 데이터 전처리의 진단적 유용성 잠재력을 보여준다.
• 실증 평가 결과, 이 프레임워크는 정확한 추론을 지원함을 입증한다. 예를 들어, 슬로바키아의 행복6 확률은 0.143로 계산되었으며, 다변량 연속 관계(social(X,Y))가 추가되면서 0.135로 증가하였다.
• 이 방법은 조각별 다항식 밀도의 효과적인 상징적 통합을 가능하게 하여, 샘플링이나 渐近 수렴에 의존하지 않고 정확한 추론을 지원한다.
• ProbLog과의 통합을 통해 타당성과 모듈성을 입증하였으며, 연속 밀도 학습과 상징적 규칙 학습이 원칙적이고 확장 가능한 방식으로 조합될 수 있음을 보여준다.