[논문 리뷰] LIREx: Augmenting Language Inference with Relevant Explanation

Xinyan Zhao, V. G. Vinod Vydiswaran|arXiv (Cornell University)|2020. 12. 16.

Topic Modeling참고 문헌 20인용 수 13

한 줄 요약

LIREx는 자연어 추론(NLI) 성능을 햖थ기 위해 추론 인식 설명 생성과 유사한 설명을 걸러내는 인스턴스 선택기 통합하는 새로운 프레임워크를 제안한다. SNLI에서 91.87%의 정확도를 기록하여 최신 기술 수준에 도달했으며, 미세조정 없이도 다중 도메인 MultiNLI에서 이전 방법들을 능가한다.

ABSTRACT

Natural language explanations (NLEs) are a special form of data annotation in which annotators identify rationales (most significant text tokens) when assigning labels to data instances, and write out explanations for the labels in natural language based on the rationales. NLEs have been shown to capture human reasoning better, but not as beneficial for natural language inference (NLI). In this paper, we analyze two primary flaws in the way NLEs are currently used to train explanation generators for language inference tasks. We find that the explanation generators do not take into account the variability inherent in human explanation of labels, and that the current explanation generation models generate spurious explanations. To overcome these limitations, we propose a novel framework, LIREx, that incorporates both a rationale-enabled explanation generator and an instance selector to select only relevant, plausible NLEs to augment NLI models. When evaluated on the standardized SNLI data set, LIREx achieved an accuracy of 91.87%, an improvement of 0.32 over the baseline and matching the best-reported performance on the data set. It also achieves significantly better performance than previous studies when transferred to the out-of-domain MultiNLI data set. Qualitative analysis shows that LIREx generates flexible, faithful, and relevant NLEs that allow the model to be more robust to spurious explanations. The code is available at https://github.com/zhaoxy92/LIREx.

연구 동기 및 목표

• 기존의 NLE 기반 NLI 모델이 인간의 추론 다양성을 고려하지 못하고 허위 설명을 생성하는 한계를 해결한다.
• NLI 학습에 높은 품질의 관련 설명만 통합하여 모델의 강건성과 신뢰성을 향상시킨다.
• 생성된 설명을 인간이 애너테이션한 추론 근거와 일치시켜 NLI의 해석 가능성과 성능을 향상시킨다.
• 추론 인식 설명 생성이 인간의 추론과 더 잘 일치하고, 외부 도메인 데이터에서의 일반화 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 각 전제-가설 쌍에 대해 특정 예측된 추론 근거(핵심 텍스트 토큰)에 기반한 설명을 생성하는 추론 인식 설명 생성기를 개발한다.
• 일관성과 추론 및 레이블과의 일치도를 기반으로 타당하지 않거나 허위인 설명을 걸러내는 인스턴스 선택기를 도입한다.
• 선택된 고품질 자연어 설명을 문맥 입력으로 사용하여 전제-가설 쌍과 함께 NLI 모델을 훈련시킨다.
• 이중 단계 프로세스를 사용한다: 첫 번째로 추론 근거를 예측하고 여러 후보 설명을 생성하고, 두 번째로 관련성 평가 메커니즘을 통해 가장 관련성 있고 타당한 설명들만 선택한다.
• RoBERTa와 같은 사전 훈련된 언어 모델을 사용하여 설명 생성과 NLI 추론을 모두 수행하고, SNLI 및 MultiNLI에서 미세조정을 적용한다.
• 성실성 평가를 위해 설명을 제거했을 때의 성능 저하(포괄성) 또는 고립된 상태에서의 성능(필요성)을 측정하여 모델이 설명에 의존한다는 것을 확인한다.

실험 결과

연구 질문

• RQ1 표준 설명 생성 방식과 비교해 추론 인식 설명 생성이 NLI 모델의 성능과 강건성 향상에 기여하는가?
• RQ2 현재의 NLE 기반 NLI 모델이 성능 저하를 초래하는 허위 설명 문제를 어느 정도 악용하고 있는가?
• RQ3 추론 인식 설명 생성기는 인간 애너테이션된 추론 근거와 얼마나 잘 일치하고 인간의 추론과 일치하는 설명을 생성하는가?
• RQ4 인스턴스 선택기를 통해 타당하지 않은 설명을 걸러내는 것이 MultiNLI와 같은 외부 도메인 NLI 벤치마크에서의 일반화 성능 향상에 기여하는가?
• RQ5 관련성 있고 충실도가 높은 설명을 포함함으로써 정확도를 희생시키지 않고도 모델의 해석 가능성 향상이 가능한가?

주요 결과

• LIREx는 SNLI 개발 세트에서 91.87%의 정확도를 기록하여 베이스라인 대비 0.32점 향상되었고, 벤치마크에서 보고된 최고 성능과 동일한 결과를 달성했다.
• 외부 도메인인 MultiNLI 테스트 세트에서 LIREx는 미세조정 없이도 이전 방법들을 뛰어넘는 성능을 보이며 강력한 제로샷 일반화 능력을 입증했다.
• 수동 평가 결과, LIREx는 MNLI-M 및 MNLI-Mis에서 예측된 추론 근거와 95%의 관련성을 보였고, NILE는 84%에 그쳤다. 이는 인간의 추론과의 더 나은 일치를 의미한다.
• 성실성 분석 결과, 모델이 예측에 전제-가설 쌍과 설명 양쪽 모두에 의존하고 있음을 확인했으며, 설명을 제거했을 때 성능 저하가 심하게 발생했다.
• 허위 설명에 대한 강건성은 인스턴스 선택기가 공리적 추론과 모순되는 저품질 설명을 효과적으로 걸러내는 것으로 입증되었다.
• 관련성 평가에서 인식자 간 일치도가 0.95로 매우 높아, 설명 품질 평가에 사용된 인간 평가 프로토콜의 신뢰성을 검증했다.