[논문 리뷰] Logical Rule Induction and Theory Learning Using Neural Theorem Proving

Andres Campero, Aldo Pareja외 3명|arXiv (Cornell University)|2018. 09. 06.

Topic Modeling참고 문헌 24인용 수 17

한 줄 요약

이 논문은 소프트 유니피케이션을 통한 미분 가능한 전방 연역 추론을 사용하여 논리적 규칙 유도 및 이론 학습을 위한 신경-기호 프레임워크를 제안한다. 기울기 하강을 통해 술어의 조밀한 벡터 임베딩을 최적화하여 관찰에서 해석 가능한 논리적 규칙과 핵심 사실을 학습하며, ILP 및 이론 학습 벤치마크에서 높은 정확도와 강력한 압축 성능을 달성했으며, 특히 동물 분류 체계 데이터셋에서 최적의 40개 핵심 사실 이론 학습 시 99% 정확도와 70% 성공률을 기록했다.

ABSTRACT

A hallmark of human cognition is the ability to continually acquire and distill observations of the world into meaningful, predictive theories. In this paper we present a new mechanism for logical theory acquisition which takes a set of observed facts and learns to extract from them a set of logical rules and a small set of core facts which together entail the observations. Our approach is neuro-symbolic in the sense that the rule pred- icates and core facts are given dense vector representations. The rules are applied to the core facts using a soft unification procedure to infer additional facts. After k steps of forward inference, the consequences are compared to the initial observations and the rules and core facts are then encouraged towards representations that more faithfully generate the observations through inference. Our approach is based on a novel neural forward-chaining differentiable rule induction network. The rules are interpretable and learned compositionally from their predicates, which may be invented. We demonstrate the efficacy of our approach on a variety of ILP rule induction and domain theory learning datasets.

연구 동기 및 목표

• 규칙 구조에 대한 명시적 감독 없이도 원시 관찰에서 해석 가능한 논리적 규칙과 핵심 사실을 학습할 수 있는 신경-기호 방법을 개발하는 것.
• 관찰된 데이터를 함의하는 최소한의 핵심 사실과 규칙 집합을 학습함으로써 이론 압축을 가능하게 하여 인간과 유사한 지식 일반화를 모방하는 것.
• 기울기 하강을 통한 규칙 및 사실 표현의 공동 최적화를 통해 인도크티브 로직 프로그래밍(ILP)과 도메인 이론 학습을 모두 지원하는 것.
• 학습 과정에서 새로운 술어를 창출할 수 있도록 하여 데이터로부터 추상적 개념을 탐지할 수 있도록 하는 것.

제안 방법

• 모델는 소프트 유니피케이션을 통해 규칙를 적용하는 미분 가능한 전방 연역 신경망을 사용하며, 술어 유사도는 정확한 일치가 아닌 벡터 임베딩을 통해 측정된다.
• 규칙는 술어의 조밀한 벡터 임베딩으로 매개변수화되며, K단계의 추론을 통해 관찰된 사실을 생성하도록 기울기 하강을 통해 최적화된다.
• 핵심 사실은 원자적 사실의 임베딩으로 학습되며, 학습된 핵심 사실의 수를 최소화하고 이론 압축을 촉진하기 위해 희박성 정규화가 적용된다.
• 학습 목표는 K단계 추론 후 유도된 사실과 관찰된 목표 사실 간의 차이를 최소화하는 것으로, 진실한 사실을 충실하게 생성하고 거짓 사실을 피하는 데 기여한다.
• 규칙 유도(프로토-규칙 제공)와 이론 획득(규칙과 핵심 사실을 처음부터 학습)을 모두 지원하며, 규칙 구조에 대한 명시적 감독이 필요하지 않다.
• 소프트 유니피케이션은 정확한 유니피케이션을 대체하여 술어 임베딩 간의 유사도를 측정함으로써, 미분 가능한 추론과 종단 간 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 신경-기호적인 모델은 규칙 구조에 대한 감독 없이도 원시 관찰에서 해석 가능한 논리적 규칙과 핵심 사실을 학습할 수 있는가?
• RQ2 모델는 관찰된 사실을 최소한의 핵심 사실과 규칙 집합으로 압축하여 인간과 유사한 이론 압축을 달성할 수 있는가?
• RQ3 표준 ILP 및 도메인 이론 학습 벤치마크에서, 특히 창출된 술어를 학습하는 데 얼마나 잘 성능을 내는가?
• RQ4 최소한의 감독으로 복잡한 관계적 구조, 예를 들어 친족 관계나 분류 계층 구조에 일반화할 수 있는가?

주요 결과

• 동물 분류 체계 데이터셋에서 최적의 40개 핵심 사실 이론 학습 시 99% 정확도와 70% 성공률을 기록하여 강력한 압축과 일반화 능력을 입증했다.
• 친족 관계 데이터셋에서 관찰된 사실의 96%를 정확히 복원했으며, 4개의 새로운 보조 술어와 6개의 논리적 규칙(모계, 부모, 딸 등의 관계 정의)을 학습했다.
• 기존 술어뿐 아니라 창출된 술어에 대해서도 이해할 수 있고 구성적인 표현을 성공적으로 학습했으며, '자식'이나 '배우자'와 같은 추상적 개념을 포함했다.
• 다양한 ILP 및 이론 학습 작업 전반에서 뛰어난 성능을 보였으며, 정확도와 압축 효율성 측면에서 기준 모델들을 능가했다.
• 소프트 유니피케이션의 사용으로 인해, 규칙가 무작위로 초기화된 경우에도 미분 가능한 추론과 효과적인 종단 간 훈련이 가능했다.