[논문 리뷰] NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning

Zeming Chen, Qiyue Gao외 1명|arXiv (Cornell University)|2021. 05. 29.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

NeuralLog는 신경망 기반의 어휘 재구성 탐지와 단조성 기반 논리적 추론 엔진을 통합하는 하이브리드 프레임워크를 제안한다. 자연어 추론(NLI)을 비트 서치를 활용한 경로 계획 문제로 모델링하여, 각 추론 태스크를 신경망 모듈 또는 논리 모듈로 동적으로 라우팅함으로써, SICK(93.4%) 및 MED(93.4%) 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Deep learning (DL) based language models achieve high performance on various benchmarks for Natural Language Inference (NLI). And at this time, symbolic approaches to NLI are receiving less attention. Both approaches (symbolic and DL) have their advantages and weaknesses. However, currently, no method combines them in a system to solve the task of NLI. To merge symbolic and deep learning methods, we propose an inference framework called NeuralLog, which utilizes both a monotonicity-based logical inference engine and a neural network language model for phrase alignment. Our framework models the NLI task as a classic search problem and uses the beam search algorithm to search for optimal inference paths. Experiments show that our joint logic and neural inference system improves accuracy on the NLI task and can achieve state-of-art accuracy on the SICK and MED datasets.

연구 동기 및 목표

• 순수한 딥 러닝 또는 상징적 NLI 시스템의 한계를 해결하기 위해 두 접근 방식을 통합한다.
• 딥 러닝 모델의 일반화 부족과 상징적 시스템의 문법적 변형 처리 부족 문제를 해결한다.
• 신경망과 논리적 추론이 공통 추론 파이프라인 내에서 상호 보완적으로 작용하는 통합 프레임워크를 개발한다.
• 신경망을 활용해 어휘 재구성 탐지, 논리적 추론을 통해 단조성 기반 추론을 수행함으로써 NLI의 정확성과 내성성을 향상시킨다.
• 다양한 문법적 변형에 대응하면서도 복잡한 언어 현상에 대해 설명 가능하고 정밀한 추론을 가능하게 한다.

제안 방법

• 전제를 시작 상태로, 가설을 목표 상태로 삼아 NLI 작업을 경로 계획 문제로 모델링한다.
• 비트 서치를 사용해 추론 경로의 탐색 및 최적의 경로 선택을 수행한다.
• 어휘, 어절, 문법적 변형 세 가지 추론 모듈을 통합하여 각기 다른 유형의 추론을 처리한다.
• 문장 조각 수준에서 신경망 기반 어휘 재구성 탐지 기법을 적용해 문법적 변형을 처리한다.
• 형식적 의미 규칙을 활용해 단조성 기반 논리적 추론 엔진을 구현하여 함의 및 모순를 탐지한다.
• 추론 유형에 따라 가장 적합한 모듈(신경망 또는 논리)으로 작업을 배분하는 제어 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 신경망과 상징적 추론을 융합한 통합 프레임워크가 순수한 SOTA 딥 러닝 모델을 초월하는 NLI 성능을 달성할 수 있는가?
• RQ2 NLI의 단일 추론 파이프라인 내에서 신경망과 논리적 추론을 효과적으로 조율할 수 있는가?
• RQ3 신경망 모델이 어휘 재구성 탐지 기능을 통해 문장 조각 수준에서 문법적 변형을 얼마나 잘 식별할 수 있는가?
• RQ4 단조성 기반 논리적 추론이 특히 복잡한 경우에 함의 및 모순 태스크의 정확도를 향상시킬 수 있는가?
• RQ5 두 가지 추론 방식을 통합함으로써 고립된 접근 방식에 비해 내성성과 일반화 능력이 어떻게 향상되는가?

주요 결과

• NeuralLog는 SICK 데이터셋에서 93.4%의 최고 성능을 기록하여, BERT+(71.6%)와 BERT(44.7%)를 크게 앞서며 SOTA 성능을 확보했다.
• MED 데이터셋에서는 전체 정확도 93.4%를 기록했으며, BERT+보다 21.8%p, BERT보다 48.7%p 높은 성능을 보였다.
• 상향 추론(함의)과 하향 추론(모순) 모두에서 성능 향상을 기록했으며, BERT+ 대비 각각 +15.4 및 +23.6의 향상률을 기록했다.
• 제거 분석 결과, 단독으로 신경망 또는 논리적 추론을 사용할 경우 최적의 성능에 도달하지 못함을 확인하여, 통합 추론의 유용성을 입증했다.
• 오류 분석 결과, 의존성 구문 분석 오류와 배경 지식 부족이 주요 실패 원인으로 드러났으며, 특히 복잡한 추론에서 두드러졌다.
• SICK 데이터셋의 정답 레이블에 일관성 없는 점들(예: 접기/펼치기 vs. 놀이/놀이 안 함과 유사한 문법적 구조이지만 다른 레이블 부여)이 존재해 데이터 품질 문제를 드러냈다.