[논문 리뷰] Tunneling Neural Perception and Logic Reasoning through Abductive Learning

Wang-Zhou Dai, Qiuling Xu외 2명|arXiv (Cornell University)|2018. 02. 04.

Neural Networks and Applications참고 문헌 36인용 수 16

한 줄 요약

이 논문은 마야 문자 해독과 같이 인간처럼 시행착오를 반복하는 추론 방식을 모방함으로써 신경망 인식과 논리적 추론을 통합하는 새로운 프레임워크인 추론학습(abductive learning)을 제안한다. 이 프레임워크는 신경-논리 기계(Neural-Logical Machine)를 도입하여 소수의 손글씨 수식으로부터 학습하고, 더 복잡한 수식으로 일반화함으로써 현재 최고 수준의 신경망보다도 공동 인식-추론 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Perception and reasoning are basic human abilities that are seamlessly connected as part of human intelligence. However, in current machine learning systems, the perception and reasoning modules are incompatible. Tasks requiring joint perception and reasoning ability are difficult to accomplish autonomously and still demand human intervention. Inspired by the way language experts decoded Mayan scripts by joining two abilities in an abductive manner, this paper proposes the abductive learning framework. The framework learns perception and reasoning simultaneously with the help of a trial-and-error abductive process. We present the Neural-Logical Machine as an implementation of this novel learning framework. We demonstrate that--using human-like abductive learning--the machine learns from a small set of simple hand-written equations and then generalizes well to complex equations, a feat that is beyond the capability of state-of-the-art neural network models. The abductive learning framework explores a new direction for approaching human-level learning ability.

연구 동기 및 목표

• 현재 기계학습 시스템에서 인식 모듈과 추론 모듈 간의 근본적 불일치를 해결하기 위해.
• 마야 상형문자 해독에 영감을 받아 인간처럼 추론학습 방식으로 인식과 추론을 공동으로 학습할 수 있도록 하기 위해.
• 기호 논리와 미분 가능한 신경망 인식을 통합하여 엔드 투 엔드 학습이 가능한 프레임워크를 개발하기 위해.
• 소규모, 소수의 예제로 학습함으로써도 복잡하고 새로운 논리적 추론 작업으로의 강력한 일반화가 가능함을 입증하기 위해.

제안 방법

• 추론학습 프레임워크는 인식된 기호를 가설로 세우고 논리 규칙과의 일관성 여부를 시험하는 시행착오 과정을 사용한다.
• 신경-논리 기계는 원시 입력(예: 손글씨 수식)을 신경적 인식을 통해 기호 표현으로 매핑하는 가역적 아키텍처로 구현된다.
• 일관성은 일阶논리 규칙을 통해 강제되며, 기호 해석에 대한 가설을 생성하고 검증하는 데 추론 기법이 사용된다.
• 도메인 지식과 논리적 검증에 따라 유도되는 히وري스틱 검색을 통해 가능한 기호 해석에 대해 탐색한다.
• 백프로파게이션을 논리 모듈을 통해 최적화 및 검색 기반 기울기 근사화를 통해 달성함으로써 엔드 투 엔드 학습이 가능해진다.
• 프레임워크는 기호 논리와 기울기 가능 신경망을 결합하여 인식과 일관성 검증을 동시에 수행함으로써 공동 학습이 가능하게 한다.

실험 결과

연구 질문

• RQ1 인식과 추론이 인간의 추론학습 방식을 모방하는 단일 학습 프레임워크에서 통합될 수 있는가?
• RQ2 소수의 손글씨 수식 예제만으로도 모델이 복잡한 논리적 추론을 학습할 수 있는가?
• RQ3 기호 논리와 기울기 가능 인식을 통합함으로써 표준 신경망을 초월한 일반화 성능 향상이 이루어지는가?
• RQ4 추론학습은 인간이 정의한 기호 매핑 없이도 원시 데이터에서 기본 기호를 자동으로 추론할 수 있는가?

주요 결과

• 신경-논리 기계는 소수의 단순한 손글씨 수식으로부터 학습하여 더 복잡한 수식으로 일반화하는 데 성공하였으며, 이는 현재 최고 수준의 신경망을 초월하는 능력이다.
• 추론학습 프레임워크는 신경적 인식과 기호 논리 간의 双방향 턨널을 구축함으로써 공동 인식과 추론을 가능하게 한다.
• 마야 문자 해독에 비유한 바와 같이, 배경 지식과 일관성 검증을 활용하여 기호 해석을 검증함으로써 인간처럼 추론하는 것을 보여준다.
• 기호 추론이 기울기 가능 인식과 통합될 수 있음을 입증하여 엔드 투 엔드 학습과 더 나은 일반화 성능이 가능해졌다.
• 논리적 일관성과 기호 조작이 요구되는 추론 작업에서 표준 신경망을 능가하는 성능을 보였다.
• 이 방법은 유사한 작업 간에 인식 및 추론 컴포넌트를 재사용할 수 있도록 하여 전이 학습과 지식 재사용의 잠재력을 보여주었다.