[논문 리뷰] Learning Algorithms via Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|2019. 04. 02.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 13

한 줄 요약

이 논문은 이산 논리 함수를 미분 가능한 연산자(논리곱, 논리합, XOR)를 사용해 명시적으로 학습하는, 다양한 미분 가능한 신경망 프레임워크인 신경 논리 네트워크(Neural Logic Networks, NLNs)를 소개한다. 기존의 다층 퍼셉트론(Multilayer Perceptrons, MLPs)이 암묵적으로 학습하는 데 반해, NLNs는 해석 가능한 기호적 표현을 제공하며, 최소한의 훈련 데이터로도 십진수 곱셈, 정렬, 재귀 문장과 같은 복잡한 알고리즘 작업을 기존 신경 기반 ILP 솔버보다 뛰어나게 학습한다.

ABSTRACT

We propose a novel learning paradigm for Deep Neural Networks (DNN) by using Boolean logic algebra. We first present the basic differentiable operators of a Boolean system such as conjunction, disjunction and exclusive-OR and show how these elementary operators can be combined in a simple and meaningful way to form Neural Logic Networks (NLNs). We examine the effectiveness of the proposed NLN framework in learning Boolean functions and discrete-algorithmic tasks. We demonstrate that, in contrast to the implicit learning in MLP approach, the proposed neural logic networks can learn the logical functions explicitly that can be verified and interpreted by human. In particular, we propose a new framework for learning the inductive logic programming (ILP) problems by exploiting the explicit representational power of NLN. We show the proposed neural ILP solver is capable of feats such as predicate invention and recursion and can outperform the current state of the art neural ILP solvers using a variety of benchmark tasks such as decimal addition and multiplication, and sorting on ordered list.

연구 동기 및 목표

• 기존의 다층 퍼셉트론(Multilayer Perceptrons, MLPs)이 이산 알고리즘 작업을 암묵적이고 해석할 수 없는 가중치 표현 방식에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 논리 함수를 명시적으로 표현할 수 있는 다양한 미분 가능한 신경망 프레임워크를 개발하여 인간이 검증하고 해석할 수 있도록 하기 위해.
• 기울기 기반 최적화를 통해 유도 논리 프로그래밍(Inductive Logic Programming, ILP) 문제, 예를 들어 문장 창출과 재귀를 효과적으로 학습할 수 있도록 하기 위해.
• 특히 LDPC 디코딩과 산술 연산과 같은 알고리즘 작업에서, 소수의 예제로도 일반화 성능을 향상시키기 위해.

제안 방법

• 실수값 입력 [0,1]을 사용해 논리곱(곱셈), 논리합(1 - (1-x)(1-y)), XOR을 위한 다양한 미분 가능한 부울 연산자를 제안한다. 이를 통해 기울기 기반 학습이 가능하다.
• 이러한 연산자를 연결하여 다층 신경 논리 네트워크(Neural Logic Networks, NLNs)를 설계하며, 기존의 MLPs와는 다를 바 있는 기호적이고 해석 가능한 아키텍처를 형성한다.
• 계수의 부호를 번갈아 가며 설정하는 선형 함수의 집합을 사용해 XOR에 대한 새로운 다양한 미분 가능한 공식을 제안한다. 이를 통해 정확한 XOR 함수 계산이 가능하며, 영점 교차 검출을 통해 올바른 논리 출력을 보장한다.
• NLN 프레임워크를 활용해 ILP 문제를 다양한 최적화 작업으로 변환하고, 기울기 하강법을 통한 엔드 투 엔드 훈련이 가능하도록 한다.
• 예를 들어 머리와 尾 연산과 같은 기능 기반 리스트 의미 체계를 사용해 순서가 있는 데이터 구조를 표현함으로써, 정렬과 같은 리스트 기반 작업에 대한 재귀적 논리 학습이 가능하도록 한다.
• 사전에 정의된 템플릿 없이도 변수, 함수, 재귀를 포함한 복잡한 다원자 문장(clause)을 학습할 수 있는 재귀적 ILP 솔버를 구현한다.

실험 결과

연구 질문

• RQ1 다양한 미분 가능한 신경망 아키텍처가 암묵적인 가중치 패tern이 아닌, 명시적이고 해석 가능한 기호적 표현을 통해 부울 함수를 학습할 수 있는가?
• RQ2 LDPC 디코딩과 같은 소수의 예제로 이루어진 알고리즘 학습 작업에서, NLNs의 일반화 성능은 MLPs보다 어떻게 비교되는가?
• RQ3 NLNs는 사전에 구조적 템플릿 없이도 양성 및 부정성 예제만으로도 문장 창출과 재귀와 같은 복잡한 ILP 작업을 학습할 수 있는가?
• RQ4 NLNs는 기존의 신경 기반 ILP 솔버보다 십진수 곱셈과 순서 정렬 리스트와 같은 학습 작업에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 다양한 미분 가능한 공식을 통해 NLNs는 정확한 XOR 계산을 보장하며, 영점 교차 검출을 통해 정확한 논리 출력을 보장한다.
• 제한된 훈련 예제로도, NLN 프레임워크는 LDPC 코드의 에러 채널에서 메시지 전달 디코딩 알고리즘을 학습하는 데 있어 MLPs보다 훨씬 뛰어난 일반화 성능을 보였다.
• NLNs는 변수 4개와 6원자 문장을 사용해 순서 정렬을 위한 재귀적 ILP 솔루션을 성공적으로 학습했으며, 이는 현재의 신경 기반 ILP 솔버가 달성하지 못한 능력이다.
• NLNs는 십진수 곱셈과 덧셈과 같은 복잡한 작업을 매우 높은 정확도로 학습했으며, 더 큰 입력 크기로 일반화하는 데에도 성공했으며, 이는 이전의 신경 기반 ILP 접근법을 능가한다.
• NLNs가 학습한 기호적 표현은 인간이 검증할 수 있으며, 표준 딥 네트워크의 투명하지 않은 블랙박스 성격과는 달리 직접 실행 가능한 논리 프로그램으로 변환할 수 있다.