[논문 리뷰] Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts

Hanmeng Liu, Leyang Cui외 2명|arXiv (Cornell University)|2020. 11. 10.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 전문가가 설계한 경찰 채용 구술 추론 시험에서 유래한 문단 수준의 자연어 추론 데이터셋인 ConTRoL을 소개한다. 이 데이터셋은 논리적, 다단계, 공호적 추론을 포함한 복잡한 맥락적 추론을 강조한다. BERT 및 BART와 같은 최첨단 모델들이 공호적 추론에서 약 75%의 정확도를 기록하는 데 그치지만, 논리적 추론과 다단계 추론에서는 성능이 크게 떨어져 모델과 인간의 성능 간 괴리를 드러내며 맥락적 추론 평가에 있어 이 데이터셋의 도전성과 중요성을 입증한다.

ABSTRACT

Natural language inference (NLI) is a fundamental NLP task, investigating the entailment relationship between two texts. Popular NLI datasets present the task at sentence-level. While adequate for testing semantic representations, they fall short for testing contextual reasoning over long texts, which is a natural part of the human inference process. We introduce ConTRoL, a new dataset for ConTextual Reasoning over Long texts. Consisting of 8,325 expert-designed "context-hypothesis" pairs with gold labels, ConTRoL is a passage-level NLI dataset with a focus on complex contextual reasoning types such as logical reasoning. It is derived from competitive selection and recruitment test (verbal reasoning test) for police recruitment, with expert level quality. Compared with previous NLI benchmarks, the materials in ConTRoL are much more challenging, involving a range of reasoning types. Empirical results show that state-of-the-art language models perform by far worse than educated humans. Our dataset can also serve as a testing-set for downstream tasks like Checking Factual Correctness of Summaries.

연구 동기 및 목표

• 문장 수준의 함의를 넘어서 복잡한 맥락적 추론을 테스트하는 문단 수준의 NLI 벤치마크 부족 문제를 해결하기 위해.
• 논리적, 다단계, 분석적 추론과 같은 추론 유형을 포괄하는 고품질의 전문가가 주석 처리한 데이터셋을 구축하기 위해.
• 현재 최첨단 언어 모델이 긴, 맥락적으로 풍부한 문단을 기반으로 추론하는 데서 나타나는 한계를 평가하기 위해.
• 요약문의 사실적 정확성 평가와 같은 후행 작업을 위한 신뢰할 수 있는 기준을 제공하기 위해.

제안 방법

• ConTRoL 데이터셋은 실제 경쟁적 선발 및 채용 시험의 문장들에서 유래하여 전문가 수준의 품질과 복잡성을 확보한다.
• 각 인스턴스는 8~15문장으로 구성된 맥락 문단과 가설으로 구성되며, 함의, 모순, 중립 관계에 대한 골드 스탠다드 레이블이 제공된다.
• 논리적 추론과 다단계 추론을 포함한, 문장 간 여러 사실을 통합해야 하는 추론 유형을 강조한다.
• 모델들은 ConTRoL에서 미세조정을 거치고, 제로샷 및 피Few샷 설정에서 평가하여 일반화 및 전이 능력을 평가한다.
• 암시적 주석 오류나 모델 편향을 테스트하기 위해 맥락 또는 가설을 마스킹하는 분석을 수행한다.
• BERT, BART, Longformer 등의 모델 간 성능을 비교하며 다섯 가지 추론 유형에 걸쳐 분석한다.

실험 결과

연구 질문

• RQ1 최첨단 NLP 모델들은 복잡한 맥락적 추론이 요구되는 문단 수준의 자연어 추론에서 잘 수행할 수 있는가?
• RQ2 모델의 성능은 인간 수준의 성능과 비교해 논리적, 다단계, 공호적 추론과 같은 추론 유형에서 어떻게 나타나는가?
• RQ3 주석 오류나 가설 전용 편향이 ConTRoL 데이터셋에서 모델 예측에 어느 정도 영향을 미치는가?
• RQ4 기존 NLI 벤치마크에서의 전이 학습과 비교해 ConTRoL에서의 미세조정이 후행 추론 작업에서 성능 향상에 기여하는가?
• RQ5 다양한 모델 아키텍처(예: BERT, BART, Longformer)는 장문의 맥락 추론과 정보 통합을 어떻게 처리하는가?

주요 결과

• BERT와 BART는 각각 공호적 추론에서 74.64%와 74.92%의 정확도를 기록하며 강력한 성능를 보이지만 인간 수준의 성능에는 못 미친다.
• 논리적 추론과 다단계 추론에서는 성능이 크게 떨어지며, BART는 각각 48.75%와 47.89%의 정확도를 기록하여 모델의 한계를 드러낸다.
• 인간의 성능은 모델의 성능보다 뚜렷이 높아 맥락적 추론 능력에서 큰 격차가 있음을 시사한다.
• 분석 결과, 모델은 정확한 예측을 위해 맥락과 가설을 모두 필요로 하며, 가설 전용 정확도가 BERT 기준 36.07%에 머물러 있어 주석 오류의 영향은 미미하다는 것을 보여준다.
• 기존 NLI 벤치마크인 MultiNLI와 SNLI에서의 전이 학습은 제로샷 성능이 열악하게 나타났다(예: BART-NLI는 45.0%), 이는 ConTRoL과 이전 데이터셋 간의 분포 차이를 시사한다.
• Longformer는 맥락 전용 및 가설 전용 분석 모두에서 BERT와 BART를 앞서며, 더 나은 장기 맥락 모델링 능력을 지녔음을 시사한다.