[논문 리뷰] Explainable Natural Language Reasoning via Conceptual Unification.

Marco Valentino, Mokanarangan Thayaparan외 1명|arXiv (Cornell University)|2020. 09. 30.

Topic Modeling참고 문헌 32인용 수 5

한 줄 요약

이 논문은 개념 통합을 사용한 설명 가능하고 다단계 자연어 추론을 위한 새로운 추론 프레임워크를 제안한다. 유사성 추론을 통해 설명적 사실의 순위를 매기고, 추론을 통해 추상화된 개념을 통합함으로써, 답변 예측에 대한 훈련 없이도 Worldtree와 ARC Challenge에서 최신 기준 성능을 달성하며, 트랜스포머 기반의 설명 추출 성능을 크게 향상시킨다.

ABSTRACT

This paper presents an abductive framework for multi-hop and interpretable textual inference. The reasoning process is guided by the notions unification power and plausibility of an explanation, computed through the interaction of two major architectural components: (a) An analogical reasoning model that ranks explanatory facts by leveraging unification patterns in a corpus of explanations; (b) An abductive reasoning model that performs a search for the best explanation, which is realised via conceptual abstraction and subsequent unification. We demonstrate that the Step-wise Conceptual Unification can be effective for unsupervised question answering, and as an explanation extractor in combination with state-of-the-art Transformers. An empirical evaluation on the Worldtree corpus and the ARC Challenge resulted in the following conclusions: (1) The question answering model outperforms competitive neural and multi-hop baselines without requiring any explicit training on answer prediction; (2) When used as an explanation extractor, the proposed model significantly improves the performance of Transformers, leading to state-of-the-art results on the Worldtree corpus; (3) Analogical and abductive reasoning are highly complementary for achieving sound explanatory inference, a feature that demonstrates the impact of the unification patterns on performance and interpretability.

연구 동기 및 목표

• 설명 가능하고 다단계 추론이 가능한 자연어 추론을 위한 프레임워크를 개발한다. 이는 추론과 유사성 추론을 지원한다.
• 설명의 통합 패턴을 활용하여 질문 응답에서 신경망 모델의 해석 가능성과 성능을 향상시킨다.
• 명시적인 답변 예측 훈련 없이도 비지도 질문 응답 및 설명 추출을 가능하게 한다.
• 유사성 추론과 추론의 상호보완적 역할이 타당하고 해석 가능한 추론을 달성하는 데 미치는 영향을 조사한다.

제안 방법

• 프레임워크는 설명 코퍼스에서 학습된 통합 패턴을 기반으로 설명적 사실의 순위를 매기는 유사성 추론 모델을 사용한다.
• 추론 모델은 사실의 개념적 추상화를 수행하고, 추상화된 개념의 통합을 통해 최적의 설명을 탐색한다.
• 유사성 및 추론 구성 요소 간의 상호작용을 통해 통합 능력과 설명의 타당성을 계산한다.
• 비지도 추론을 사용하여 설명을 생성하고, 최신 트랜스포머 모델과 통합하여 설명 추출기로 활용한다.
• 개념적 추상화를 통해 모델은 의미적 통합에 초점을 맞추어 다양한 추론 경로로 일반화할 수 있다.
• 시스템은 답변 예측에 대한 미세조정 없이도, 유일하게 통합 기반 추론과 코퍼스 패턴에 의존한다.

실험 결과

연구 질문

• RQ1 설명 코퍼스의 개념 통합 패턴이 답변 예측에 대한 명시적 훈련 없이도 다단계 추론을 향상시킬 수 있는가?
• RQ2 유사성 추론과 추론의 조합이 텍스트 추론에서 높은 성능과 해석 가능성 달성에 얼마나 효과적인가?
• RQ3 통합을 통한 비지도 추론이 사전 학습된 트랜스포머의 설명 추출을 얼마나 향상시킬 수 있는가?
• RQ4 통합 능력과 타당성은 생성된 설명의 품질과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 질문 응답 모델은 답변 예측에 대한 어떤 훈련 없이도 Worldtree와 ARC Challenge 데이터셋에서 경쟁적인 신경망 및 다단계 베이스라인을 초월한다.
• 설명 추출기로 사용되었을 때, 모델은 최신 트랜스포머의 성능을 크게 향상시키며, Worldtree 코퍼스에서 최신 기준 성능을 달성한다.
• 유사성 추론과 추론의 통합은 상호보완성이 뛰어나 추론 품질과 해석 가능성을 모두 향상시킨다.
• 설명 간의 통합 패턴은 효과적이고 타당한 추론을 이끄는 데 핵심적인 역할을 하며, 모델 성능에 직접적인 영향을 미친다.
• 모델은 작업별 미세조정 없이도 코퍼스 수준의 통합 패턴을 활용하여 강력한 비지도 추론 성능을 달성한다.
• 추론 구성 요소는 개념적 추상화와 통합을 통해 최적의 설명을 효과적으로 식별하여 일반화 능력과 해석 가능성을 향상시킨다.