[논문 리뷰] Case-Based Abductive Natural Language Inference

Marco Valentino, Mokanarangan Thayaparan외 1명|arXiv (Cornell University)|2020. 09. 30.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 다중 히든 스테이지 추론에서 의미적 이탈을 줄이고 정확도와 견고성을 높이기 위해 과거 유사 사례의 설명을 검색, 재사용, 개선하는 케이스기반 추론(CBR)을 활용하는 새로운 프레임워크인 케이스기반 추론 기반 자연어 추론(CB-ANLI)을 제안한다. 사전 해결책으로서의 추론 제약을 통해 의미적 이탈을 감소시키며, 특히 어려운 설명 문제에서 뛰어난 성능을 발휘한다. 사전에 학습된 인코더와 통합되었을 때, 고의적인 설명 생성 방식보다 공통의 이해력과 과학적 추론 과제에서 더 뛰어난 성능을 보인다.

ABSTRACT

Most of the contemporary approaches for multi-hop Natural Language Inference (NLI) construct explanations considering each test case in isolation. However, this paradigm is known to suffer from semantic drift, a phenomenon that causes the construction of spurious explanations leading to wrong conclusions. In contrast, this paper proposes an abductive framework for multi-hop NLI exploring the retrieve-reuse-refine paradigm in Case-Based Reasoning (CBR). Specifically, we present Case-Based Abductive Natural Language Inference (CB-ANLI), a model that addresses unseen inference problems by analogical transfer of prior explanations from similar examples. We empirically evaluate the abductive framework on commonsense and scientific question answering tasks, demonstrating that CB-ANLI can be effectively integrated with sparse and dense pre-trained encoders to improve multi-hop inference, or adopted as an evidence retriever for Transformers. Moreover, an empirical analysis of semantic drift reveals that the CBR paradigm boosts the quality of the most challenging explanations, a feature that has a direct impact on robustness and accuracy in downstream inference tasks.

연구 동기 및 목표

• 고립된 설명 생성 방식이 인과적 다중 히든 스테이지 NLI에서 의미적 이탈을 유발하는 문제를 해결하기 위해.
• 과거 해결책의 유사성 전이를 통해 케이스기반 추론(CBR)이 개괄적 NLI에서 설명의 품질과 견고성을 향상시킬 수 있는지 탐색하기 위해.
• CBR의 검색-재사용-개선 파라다임이 추상적이고 어휘적 겹침이 적은 어려운 추론 문제에서 성능 향상을 이끌어내는지 보여주기 위해.
• CB-ANLI를 희소 및 조밀한 사전 학습된 인코더와 통합하는 것의 평가 및 트랜스포머 모델을 위한 증거 검색기로서의 효과성 검토를 위해.
• CBR가 의미적 이탈을 어떻게 완화하고 하류 추론 정확도를 향상시키는지 경험적으로 분석하기 위해.

제안 방법

• 프레임워크는 CBR의 검색-재사용-개선 파라다임을 채택한다: 새로운 가설에 대해 가설과 설명의 의미적 유사도를 기반으로 가장 유사한 과거 사례를 검색한다.
• 가장 유사한 검색된 사례의 설명을 현재 가설에 대한 새로운 설명을 구성하는 기초로 재사용한다.
• 개선 단계에서는 맥락 기반 문장 인코더와 추상화 메커니즘을 사용해 새로운 가설과의 의미적 차이를 보정함으로써 검색된 설명을 조정한다.
• 각 가설은 생성된 설명의 품질에 따라 평가되며, 가장 우수한 설명에 의해 지지되는 가설이 선택된다.
• 검색 및 인코딩을 위해 희소(BM25 등) 및 조밀(BERT 등) 사전 학습된 인코더를 모두 통합하여 하류 트랜스포머 모델과의 호환성을 확보한다.
• 설명은 사전 해결책의 구조와 내용을 활용하는 제약된 생성 프로세스를 통해 고의적인 추론 체인을 방지한다.

실험 결과

연구 질문

• RQ1 과거 해결책으로서의 설명 생성 제약을 통해 케이스기반 추론 파라다임이 인과적 다중 히든 스테이지 NLI에서 의미적 이탈을 줄일 수 있는가?
• RQ2 유사한 과거 사례의 설명을 재사용하고 개선함으로써 어려운 추상적 추론 문제에서 설명의 품질과 정확도가 향상되는가?
• RQ3 공동 이해력 및 과학적 추론 과제에서 CB-ANLI는 고립된 설명 생성 방법에 비해 견고성과 성능 면에서 어떻게 비교되는가?
• RQ4 CB-ANLI는 사전 학습된 문장 인코더 및 하류 트랜스포머 모델과 얼마나 효과적으로 통합될 수 있는가?
• RQ5 CBR 프레임워크는 특히 어려운 추론 사례에서 설명의 품질을 어떻게 향상시키는가?

주요 결과

• CB-ANLI는 사전 해결책을 활용함으로써 의미적 이탈을 크게 줄이며, 특히 가장 어려운 추론 문제에서 설명 품질 향상에 기여한다.
• 희소 및 조밀한 사전 학습된 인코더와 통합되었을 때, CB-ANLI는 공통 이해력 및 과학적 추론 과제에서 뛰어난 성능을 발휘한다.
• 경험적 결과는 CBR 파라다임이 설명의 품질을 향상시켜 하류 추론 정확도와 견고성을 향상시킨다는 것을 보여준다.
• CB-ANLI는 유사성 전이를 통한 설명의 검색 공간 제약을 효과적으로 활용함으로써 기존의 인과적 및 다중 히든 스테이지 NLI 접근법을 능가한다.
• CB-ANLI는 트랜스포머 모델을 위한 증거 검색기로서의 효과성을 입증하며, 검색 및 개선된 설명을 통해 그들의 추론 능력을 향상시킨다.
• 제거 분석 결과, 검색-재사용-개선 사이클이 성능에 핵심적임을 확인하였으며, 특히 재사용 및 개선 단계가 고의적 추론을 억제하는 데 뛰어난 효과를 보였다.