[논문 리뷰] Logical Neural Networks

Ryan Riegel, Alexander Gray외 13명|arXiv (Cornell University)|2020. 06. 23.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 81

한 줄 요약

Logical Neural Networks (LNNs) are 뉴럴 학습과 기호 논리를 매핑하여 뉴런을 가중된 실수 로직의 요소에 대응시키고, 엔드-투-엔드 미분 가능하고 양방향이며 해석 가능한 추론을 개방 세계 경계와 함께 가능하게 한다.

ABSTRACT

We propose a novel framework seamlessly providing key properties of both neural nets (learning) and symbolic logic (knowledge and reasoning). Every neuron has a meaning as a component of a formula in a weighted real-valued logic, yielding a highly intepretable disentangled representation. Inference is omnidirectional rather than focused on predefined target variables, and corresponds to logical reasoning, including classical first-order logic theorem proving as a special case. The model is end-to-end differentiable, and learning minimizes a novel loss function capturing logical contradiction, yielding resilience to inconsistent knowledge. It also enables the open-world assumption by maintaining bounds on truth values which can have probabilistic semantics, yielding resilience to incomplete knowledge.

연구 동기 및 목표

• 해석 가능한 지식 표현을 위해 뉴럴 학습과 기호 로직을 통합하는 신경-기호 프레임워크를 도입한다.
• 뉴런과 논리식 원소 간의 1대1 대응을 구축하여 양방향의 검증 가능한 추론을 가능하게 한다.
• 논리적 모순을 벌주하고 진리값 경계를 통해 개방 세계 가정을 지지하는 미분 가능 학습 목표를 개발한다.
• 보장된 수렴성과 일차 로직 및 정리 증명에의 적용 가능성을 보여주는 추론 효율성을 입증한다.

제안 방법

• 각 뉴런이 논리 원자나 연결기에 대응하고 출력이 [0,1]인 진리값 경계로 나타나는 그래프로 논리식을 표현한다.
• 활성화 함수는 논리적 연결자(AND, OR, NOT, IMPLIES)에 맞도록 제약하고, grounding 튜플에 대한 min/max 집계를 통해 일차 원자량 양자에 대한 지원을 추가한다.
• 가중치, 바이어스, 함수 f 등의 매개변수를 갖는 가중치 비선형 실수 로직을 도입하여 합동, 선택, 함의 등을 미분 가능 연산자로 구현한다.
• 부분 공식을 따라 경계를 점진적으로 좁히는 상향–하향 추론 알고리즘을 적용하여 유한 단계 수렴이 일어나도록 한다.
• 출력의 경계가 입력을 제약하도록 양방향 추론을 허용하여 LNN 프레임워크 내에서 modus ponens, modus tollens 와 같은 규칙을 가능하게 한다.
• 모순을 벌주하고 고전 입력에서 고전적 동작을 촉진하는 손실 함수를 사용하여 역전파를 통해 신경 매개변수(가중치, 경계, 그리고 가능하면 원자 신뢰도)를 학습한다.

실험 결과

연구 질문

• RQ1 각 뉴런이 논리 식 구성 요소에 대응하는 구조로 구성되어 투명한 진리값 경계를 가능하게 할 수 있는가?
• RQ2 양방향 추론 및 경계 강화가 증명 가능한 추론과 유사한 수렴 가능한 추론을 미분 가능 모델 내에서 제공하는가?
• RQ3 개방 세계 가정을 진리값 경계로 표현하는 방식이 LNN에서 어떻게 가능하며 이진 참/거짓 라벨 대신 어떤 방식으로 작동하는가?
• RQ4 LNN은 일반적인 일차 로직을 지원하고 표준 정리 증명 벤치마크에서 기호 시스템과 비교했을 때 어떤 성능을 보이는가?
• RQ5 LNN은 불일치와 잡음이 있는 지식을 경계를 조정함으로써 정보를 버리지 않고 처리할 수 있는가?

주요 결과

• LNN은 해석 가능한 표현을 가능하게 하는 1대1 뉴런–수식 대응을 갖춘 미분 가능, 엔드-투-엔드 프레임워크를 제공한다.
• 추론은 양방향이며 유한 단계에서 수렴하여 신경 아키텍처 내에서 정리 증명과 유사한 추론이 가능하다.
• 진리값은 경계로 표현되어 개방 세계 의미론과 확률적 해석을 지원하면서도 해석 가능성을 유지한다.
• 실험에서 LNN이 특정 설정에서 LUBM 질의에 대해 전체 기억을 달성하고 일부 설정에서 정확한 기호 시스템과 함께 작업함을 보였으며, 불일치 공리를 위치시키고 가중치를 낮출 수 있다.
• TPTP 및 관련 벤치마크에서 LNN은 여러 기호/잡음 규칙 기반의 방법과 비교하여 경쟁력 있거나 우수한 성능을 보였고 ATP 과제의 하위 집합에서 수 초 안에 문제를 증명했다.
• LNN은 학습 중 모순에 대해 명시적으로 벌주할 수 있어 논리 구조를 존중하고 설명 가능성을 향상시키는 학습을 가능하게 한다.