[논문 리뷰] Learning as Abduction: Trainable Natural Logic Theorem Prover for Natural Language Inference

Lasha Abzianidze|arXiv (Cornell University)|2020. 10. 29.

Natural Language Processing Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 자연어 추론 문제에서 데이터로부터의 학습을 추론(역추론)으로 모델링함으로써, 테이블로우 기반 자연논리 추론 기반 시스템의 성능을 향상시키는 학습 가능한 자연논리 정리증명기를 제안한다. 이 방법은 금본 추론 레이블을 가장 잘 설명하는 의미관계를 역추론하여 추론한다. 이 방법은 SNLI 유사 SICK 데이터셋에서 테이블로우 기반 증명기의 성능을 1.4% 향상시키면서도 94% 이상의 정밀도를 유지함으로써, 추론 기반 학습이 기호적 NLP 시스템에서 효과적이고 데이터 기반의 지식 획득을 가능하게 함을 보여준다.

ABSTRACT

Tackling Natural Language Inference with a logic-based method is becoming less and less common. While this might have been counterintuitive several decades ago, nowadays it seems pretty obvious. The main reasons for such a conception are that (a) logic-based methods are usually brittle when it comes to processing wide-coverage texts, and (b) instead of automatically learning from data, they require much of manual effort for development. We make a step towards to overcome such shortcomings by modeling learning from data as abduction: reversing a theorem-proving procedure to abduce semantic relations that serve as the best explanation for the gold label of an inference problem. In other words, instead of proving sentence-level inference relations with the help of lexical relations, the lexical relations are proved taking into account the sentence-level inference relations. We implement the learning method in a tableau theorem prover for natural language and show that it improves the performance of the theorem prover on the SICK dataset by 1.4% while still maintaining high precision (>94%). The obtained results are competitive with the state of the art among logic-based systems.

연구 동기 및 목표

• 기존에 수작업으로 구성된 어휘 지식 기반(예: WordNet)에 의존하는 기호적 자연어 추론(NLI) 시스템에서 데이터 기반 학습의 부재를 해결하기 위해.
• 넓은 커버리지의 텍스트로 확장할 때 기반 논리 기반 NLI 시스템의 취약성을 해결하기 위해, 훈련 데이터로부터 도메인 특화된 의미관계를 자동으로 획득할 수 있도록 하기 위해.
• 테이블로우 기반 정리증명기와 통합된 추론 기반 추론을 통합하는 계산적으로 타당한 학습 방법을 개발하기 위해.
• 학습된 관계가 정밀도를 희생시키지 않고 추론 성능을 향상시키는지, 그리고 외부 지식 기반(예: WordNet)을 부분적으로 대체할 수 있는지 평가하기 위해.

제안 방법

• 표준 정리증명 워크플로우를 뒤집는 방법: 어휘 관계에서 문장 수준의 추론을 유도하는 대신, 금본 레이블을 설명할 수 있는 가장 타당한 어휘 관계를 추론한다.
• 추론은 역방향 정리증명으로 형식화되며, 시스템은 금본 레이블을 함의할 수 있도록 가정할 경우에만 성립하는 의미관계(예: 'put on'은 'remove'와 불가능함)를 탐색한다.
• 일관성을 확보하기 위해, 테이블로우의 모든 열린 분지에서 공통으로 공유되는 T-집합(의미관계 집합)에만 초점을 맞춰 설명 공간을 축소한다.
• 비합리적이거나 지나치게 맥락 의존적인 관계를 제거하기 위해 필터 및 비교 기준의 시퀀스를 적용하여 가짜 지식을 줄인다.
• 학습 중에 지식 기반을 동적으로 확장할 수 있도록 추론 기반 자연논리 증명기(LangPro)에 추론 기반 학습 구성요소를 통합한다.
• CCG 파서 여러 대로 SICK 데이터셋을 사용하여 평가하고, 최신 기반 논리 시스템과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 NLI 문제에 대해 자연어 정리증명기를 학습시킬 수 있는 계산적으로 타당한 학습 방법은 무엇인가?
• RQ2 NLI에 대한 추론 기반 학습에서 가짜 지식을 어떻게 방지할 수 있는가?
• RQ3 학습된 지식은 WordNet과 같은 어휘 지식 데이터베이스를 대체할 수 있는가?
• RQ4 학습된 지식은 증명기 성능을 어느 정도 향상시키는가?

주요 결과

• 추론 기반 학습 방법은 SICK 테스트 세트에서 LangPro 정리증명기의 성능을 1.4%p 향상시켜, 기반 논리 시스템 중 최신 기준을 달성했다.
• 학습 후에도 높은 정밀도(>94%)를 유지함으로써, 필터 메커니즘이 가짜 지식을 효과적으로 억제함을 보여주었다.
• 데이터로부터 학습을 하더라도, WordNet에서 유도된 어휘 관계는 최상위 성능을 달성하기 위해 여전히 필수적임을 시사하며, 학습된 지식만으로는 정제된 어휘 데이터베이스를 완전히 대체할 수 없음을 시사한다.
• 추론 기반 학습 구성요소는 다양한 CCG 파서에서 개별적으로나 앙상블 설정에서나 일관되게 성능 향상을 이끌어냈다.
• 이 방법은 기호적 NLI 시스템이 추론을 통해 데이터 기반으로 학습될 수 있음을 성공적으로 입증하였으며, 블랙박스 딥러닝 모델에 대한 투명하고 해석 가능한 대안을 제공한다.
• 결과적으로 추론 기반 학습은 자연논리에서 데이터 기반 지식 획득을 위한 타당하고 효과적인 접근법임을 보여주며, 특히 기호적 NLP 시스템의 추론 능력을 향상시키는 데 유용하다.