[논문 리뷰] Neural Logic Machines

Honghua Dong, Jiayuan Mao외 4명|arXiv (Cornell University)|2019. 04. 26.

Natural Language Processing Techniques인용 수 46

한 줄 요약

신경 로직 기계(Neural Logic Machines)는 신경망과 기호 논리를 결합하여 lifted 규칙을 학습하고 작은 인스턴스에서 larger 인스턴스로 일반화하며, 관계 추론, 의사결정 및 계획 과제에서 강한 일반화를 달성한다.

ABSTRACT

We propose the Neural Logic Machine (NLM), a neural-symbolic architecture for both inductive learning and logic reasoning. NLMs exploit the power of both neural networks---as function approximators, and logic programming---as a symbolic processor for objects with properties, relations, logic connectives, and quantifiers. After being trained on small-scale tasks (such as sorting short arrays), NLMs can recover lifted rules, and generalize to large-scale tasks (such as sorting longer arrays). In our experiments, NLMs achieve perfect generalization in a number of tasks, from relational reasoning tasks on the family tree and general graphs, to decision making tasks including sorting arrays, finding shortest paths, and playing the blocks world. Most of these tasks are hard to accomplish for neural networks or inductive logic programming alone.

연구 동기 및 목표

• lifted 1차 논리 규칙을 학습할 수 있는 신경-기호 시스템을 동기 부여한다.
• 표준 그래프 네트워크를 넘어서는 고차 관계 데이터와 수량화를 다룬다.
• 핸드 크래프트 템플릿 없이도 확장 가능한 규칙 유도를 달성한다.
• 작은 학습 인스턴스에서 더 큰 테스트 인스턴스로의 일반화를 보여준다.

제안 방법

• 논리 술어를 고정된 객체 집합에 기초한 확률 텐서로 표현한다.
• 논리 규칙을 lifted 불리언 논리와 수량화를 수행하는 신경 연산자로 구현한다.
• 상호-그룹 및 그룹 내 연산을 통해 Horn-절과 유사한 추론을 realiz하는 다층, 다그룹 아키텍처를 사용한다.
• 전확/실확 수량화를 구현하기 위해 확장 및 축소 메타 규칙을 사용한다.
• 깊이 D, 폭 B, 각 층당 소수의 출력 술어 수로 복잡성을 관리하여 모델 용량을 제어한다.
• 작업에 따라 지도 학습 또는 강화 학습으로 학습을 제공한다.

실험 결과

연구 질문

• RQ1 NLM이 학습 중에 본 것보다 더 큰 객체 집합으로 일반화되는 lifted 규칙을 유도할 수 있는가?
• RQ2 NLM이 신경망 프레임워크 내에서 고차 관계 및 수량화를 어떻게 다루는가?
• RQ3 규칙의 복잡성 및 아리티에 대해 NLM의 확장성은 어느 정도인가?
• RQ4 NLM가 관계 추론, 그래프 과제 및 계획 문제를 순수 신경망이나 순수 기호 기반 대안보다 더 효과적으로 해결할 수 있는가?

주요 결과

• NLM은 관계 추론 및 의사결정에서 소규모 학습으로부터 대규모 작업으로 일반화한다.
• NLM은 블록 월드, 정렬 및 최단 경로 과제에서 강력한 성능을 달성하며 종종 기_baselines보다 우수한 성능을 보인다.
• NLM은 lifted 규칙을 회복하고 Horn 절의 부분 집합에 대해 순방향 체인을 수행할 수 있다.
• 해당 아키텍처는 다항식 관계 술어 및 수량화를 지원하여 고차 관계 데이터에 대한 추론을 가능하게 한다.
• 실험은 가족 트리, 일반 그래프 및 알고리즘 과제에서 견고한 일반화를 보인다.