[논문 리뷰] Can Neural Networks Understand Logical Entailment?

Evans, Richard, David Saxton외 3명|arXiv (Cornell University)|2018. 02. 23.

Topic Modeling참고 문헌 35인용 수 10

한 줄 요약

이 논문은 명제 논리에서 논리적 함의에 대한 신경망 평가를 위한 새로운 데이터셋을 소개한다. 형식적이고 구조적 요소만을 사용하는 작업을 통해 아키텍처의 인덕티브 바이어스를 분리한다. 표준 모델인 LSTMs와 CNNs와 비교하여 가능한 세계를 통해 함의를 명시적으로 모델링하는 새로운 아키텍처인 PossibleWorldNets를 제안하며, 이는 최신 성능을 달성한다. 이는 강한 구조적 인덕티브 바이어스를 지닌 모델가 암묵적인 구조 캡처에 의존하는 모델보다 우수하다는 것을 보여준다.

ABSTRACT

We introduce a new dataset of logical entailments for the purpose of measuring models' ability to capture and exploit the structure of logical expressions against an entailment prediction task. We use this task to compare a series of architectures which are ubiquitous in the sequence-processing literature, in addition to a new model class---PossibleWorldNets---which computes entailment as a "convolution over possible worlds". Results show that convolutional networks present the wrong inductive bias for this class of problems relative to LSTM RNNs, tree-structured neural networks outperform LSTM RNNs due to their enhanced ability to exploit the syntax of logic, and PossibleWorldNets outperform all benchmarks.

연구 동기 및 목표

• 신경망이 함의 작업에서 논리적 표현의 구조적 문법을 이해하고 활용할 수 있는지 평가하는 것.
• 인기 있는 신경망 아키텍처의 인덕티브 바이어스를 순수한 구조적 시퀀스 문제에서 분리하고 측정하는 것.
• 가능한 세계를 통해 논리적 함의의 의미를 명시적으로 인코딩하는 새로운 모델 클래스인 PossibleWorldNets를 개발하고 벤치마킹하는 것.
• 표면적인 통계적 편향이 없는 벤치마킹 데이터셋을 제공하여 신경망 모델의 구조적 추론 능력을 공정하게 평가할 수 있도록 하는 것.

제안 방법

• 저자들은 명제 논리에서의 논리적 함의 트리플 (A, B, A⊨B)로 구성된 새로운 데이터셋을 생성하였으며, 추상적 명제 변수를 사용하여 어휘적 또는 의미적 편향이 없도록 하였다.
• 논리적 연결사와 문법적 구조에 의해만 함의가 결정되도록 보장하는 일반적인 데이터 생성 과정을 설계하였다. 이는 표면 수준의 패tern에 의존하지 않는다.
• 이 데이터셋에서 피드포워드 네트워크, 컨volutional 네트워크, LSTMs, 트리 구조 네트워크와 같은 표준 아키텍처를 평가하였다.
• PossibleWorldNets를 도입하였으며, 이는 명제 변수의 모든 진리 할당에 대해 공식을 평가함으로써 가능한 세계에 대한 '컨볼루션'으로서의 함의를 계산한다.
• 모델은 논리 공식을 처리하기 위해 트리 구조 네트워크를 사용하고, 모든 가능한 세계에 대해 미분 가능한 집계를 적용하여 함의를 계산한다.
• 평가에서는 테스트 세트에서의 정확도를 사용하여 다양한 모델 간 성능을 비교하였으며, 아블레이션 연구를 통해 아키텍처 설계 선택의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 의미나 어휘적 의미에 의존하지 않고, 오직 문법적 구조와 논리적 연산자에 의존하는 함의 작업에서 신경망이 논리적 함의를 신뢰성 있게 탐지할 수 있는가?
• RQ2 어느 신경망 아키텍처가 시퀀스 데이터의 구조적 관계를 캡처하고 활용하는 데 가장 우수한 인덕티브 바이어스를 보이는가?
• RQ3 모든 가능한 세계를 고려하여 함의의 의미론적(모델 이론적) 정의에 기반해 명시적으로 설계된 모델이, 암묵적으로 구조를 학습하는 모델보다 성능이 뛰어나게 되는가?
• RQ4 LSTM과 CNN과 같은 표준 아키텍처가 순수한 구조적 추론 작업에서 어떻게 작동하는가? 그리고 그 실패는 그들의 인덕티브 바이어스에 대해 무엇을 드러내는가?

주요 결과

• 컨볼루션 네트워크는 논리적 함의 작업에서 빈약한 성능을 보이며, 이는 논리적 표현의 깊이 있는 다형적 문법적 구조를 캡처하는 데에 부적합한 인덕티브 바이어스를 지닌다는 것을 시사한다.
• LSTM 기반 모델은 컨볼루션 네트워크를 능가하며, 이는 순환 아키텍처가 논리 공식의 계층적 구조를 더 잘 캡처한다는 것을 보여준다.
• 트리 구조 신경망은 표준 LSTMs보다 성능이 뛰어나며, 이는 논리 표현의 문법적 구조를 명시적으로 모델링하는 것이 중요하다는 것을 강조한다. 이는 아키텍처의 인덕티브 바이어스의 중요성을 시사한다.
• PossibleWorldNets는 명제 변수의 모든 가능한 진리 할당에 대해 함의를 명시적으로 모델링함으로써 최신 성능을 달성한다. 이는 작업의 의미론적 특성과 아키텍처가 일치할 경우 일반화 능력이 향상된다는 것을 보여준다.
• 결과는 구조적 성격이 명확한 작업에 강력한 인덕티브 바이어스를 지닌 모델(예: PossibleWorldNets)이 암묵적인 구조 학습에 의존하는 모델보다 유의미하게 뛰어나다는 것을 확인한다.
• 이 연구는 자연어 텍스트 함의 작업에서 훈련된 신경망 모델이 의미적 신호에 의존하기 때문에 형식적 논리 추론에서 실패할 수 있음을 보여주며, 이는 명시적인 구조적 인덕티브 바이어스가 필요하다는 점을 강조한다.