[논문 리뷰] Inductive Logic Programming via Differentiable Deep Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|2019. 06. 08.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 22

한 줄 요약

이 논문은 제약적인 규칙 템플릿이 필요 없이 미분 가능한 전방 연역을 통해 종단 간(symbolic first-order logic) 규칙을 학습하는 미분 가능한 딥 뉴럴 논리망(dNL-ILP)을 제안한다. 이는 관계 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, Mutagenesis, Cora, IMDB, Wine, Sonar 데이터셋에서 기존 ILP 시스템을 능가한다. 이는 학습 가능한 부울 함수와 미분 가능한 경계 술어를 통해 연속적 데이터를 처리함으로써 달성된다.

ABSTRACT

We propose a novel paradigm for solving Inductive Logic Programming (ILP) problems via deep recurrent neural networks. This proposed ILP solver is designed based on differentiable implementation of the deduction via forward chaining. In contrast to the majority of past methods, instead of searching through the space of possible first-order logic rules by using some restrictive rule templates, we directly learn the symbolic logical predicate rules by introducing a novel differentiable Neural Logic (dNL) network. The proposed dNL network is able to learn and represent Boolean functions efficiently and in an explicit manner. We show that the proposed dNL-ILP solver supports desirable features such as recursion and predicate invention. Further, we investigate the performance of the proposed ILP solver in classification tasks involving benchmark relational datasets. In particular, we show that our proposed method outperforms the state of the art ILP solvers in classification tasks for Mutagenesis, Cora and IMDB datasets.

연구 동기 및 목표

• 기존 ILP 시스템이 제약적인 규칙 템플릿에 의존함으로써 해의 공간이 제한되고, 복잡한, 재귀적인, 또는 새로 만들어진 술어를 학습하는 데 어려움을 겪는 문제를 해결하기 위해.
• 일阶 논리에서 상징적 부울 함수를 종단 간으로 직접 최적화할 수 있도록, 명시적이고 해석 가능하며 일반화 가능한 규칙 학습이 가능한, 미분 가능한 학습 기반의 심층 신경망을 제공하기 위해.
• 일반적으로 신경망 기반 ILP 접근법에서 부재하는, 술어 발명과 재귀성과 같은 핵심 ILP 기능을 지원하기 위해.
• 학습 가능한 임계값을 가진 시그모이드 함수를 사용하여, 연속적 데이터를 효과적으로 처리하기 위해 미분 가능한 경계 술어(gt, lt)를 도입하기 위해.
• 수천 개의 상수와 연속적 특성을 포함한 기준 관계 분류 작업에서 최신 기술 수준(SOTA)의 성능을 달성하기 위해.

제안 방법

• dNL-ILP 프레임워크는 전방 연역의 미분 가능한 구현을 사용하여 진리값을 논리 규칙을 통해 전파함으로써 기울기 기반 최적화를 가능하게 한다.
• 규칙 템플릿 없이도 직접 최적화할 수 있도록, 상징적 부울 함수를 명시적으로 학습하기 위해 곱셈형 뉴런을 도입한다.
• 연속적 데이터 처리를 위해, 학습 가능한 임계값 u_xi와 l_xi를 가진 시그모이드 함수를 사용하여 gt_xi(x, u_xi)와 lt_xi(x, l_xi)와 같은 미분 가능한 술어를 정의한다.
• 복잡한 논리 규칙을 표현하기 위해 dNL-CNF 및 dNL-DNF 네트워크를 사용하며, 술어 함수는 학습 가능한 부울 함수로 정의된다.
• 배경 지식과 예시로부터 유추함으로써 새로운 술어를 학습함으로써 술어 발명을 지원하며, 사전에 정의된 술어가 필요로 하지 않는다.
• 불확실한 유전자 상태를 위해 가우시안 혼합 모델(GMMs)을 통한 확률 모델링을 통합하며, 보조 술어 inf_off_i는 유전자가 꺼져 있을 확률을 추정한다.

실험 결과

연구 질문

• RQ1 제약적인 규칙 템플릿에 의존하지 않고, 종단 간으로 상징적 일阶 논리 규칙을 학습할 수 있는 미분 가능한 신경망 프레임워크는 가능한가?
• RQ2 제안된 dNL-ILP 모델은 관계 학습 작업에서 재귀적이고 새로 만들어진 술어를 효과적으로 학습할 수 있는가?
• RQ3 연속적 특성이 있는 관계 분류 작업에서 dNL-ILP의 성능은 최신 기술 수준(ILP 시스템)과 비교해 어떻게 되는가?
• RQ4 학습 가능한 임계값을 가진 미분 가능한 경계 술어(gt, lt)는 이산화 없이 ILP에서 연속적 데이터를 효과적으로 모델링할 수 있는가?
• RQ5 dNL-ILP 프레임워크는 수천 개의 상수를 포함한 대규모 관계 데이터셋으로 일반화되는 정도는 어느 정도인가?

주요 결과

• dNL-ILP는 Wine 데이터셋에서 ALEPH+LIME의 92%보다 높은 98% 정확도를 기록하며 최신 기술 수준(ILP 솔버)을 초월한다.
• Sonar 데이터셋에서 dNL-ILP는 85% 정확도를 기록하여 FOLD+LIME(78%)와 ALEPH+LIME(74%)를 모두 앞선다.
• DREAM4 10유전자 분류 챌린지에서 dNL-ILP는 MCC 0.35를 기록하며, NARROMI(0.24)와 MICRAT(0.33)를 모두 능가한다.
• dNL-ILP는 DREAM4 데이터셋에서 F-score 0.36을 기록하여 NARROMI(0.35)와 MICRAT(0.32)를 모두 초월한다.
• dNL-ILP는 lessThan 예제에서 inc 술어를 통해 재귀 규칙을 성공적으로 학습하고, 술어 발명을 지원한다.
• dNL-ILP는 수천 개의 상수를 포함한 데이터셋으로도 잘 일반화되며, Mutagenesis, Cora, IMDB 벤치마크에서 뛰어난 성능을 보였다.