[논문 리뷰] Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks

Anshuman Mishra, Dhruvesh Patel외 4명|arXiv (Cornell University)|2020. 09. 18.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 기존의 다중선택형 독해 이해(MCRC) 데이터셋을 장문의 전제를 가진 자연어 추론(NLI) 데이터셋으로 변환하여 NLP 모델의 다중문장 추론 능력을 향상시키는 방법을 제안한다. 문법적 유창성과 구조적 정확성을 균형 있게 유지하는 하이브리드 변환 방법을 사용하여, 이러한 새로운 데이터셋으로 훈련된 모델은 요약문의 사실 일관성 검사(CFCS) 및 MCRC와 같은 후행 작업에서 표준 문장 수준의 NLI 데이터로 훈련된 모델보다 우수한 성능을 보이며, 특히 장문의 전제에서 뛰어난 성능을 발휘한다.

ABSTRACT

In recent years, the Natural Language Inference (NLI) task has garnered significant attention, with new datasets and models achieving near human-level performance on it. However, the full promise of NLI -- particularly that it learns knowledge that should be generalizable to other downstream NLP tasks -- has not been realized. In this paper, we study this unfulfilled promise from the lens of two downstream tasks: question answering (QA), and text summarization. We conjecture that a key difference between the NLI datasets and these downstream tasks concerns the length of the premise; and that creating new long premise NLI datasets out of existing QA datasets is a promising avenue for training a truly generalizable NLI model. We validate our conjecture by showing competitive results on the task of QA and obtaining the best reported results on the task of Checking Factual Correctness of Summaries.

연구 동기 및 목표

• 문장 수준의 NLI 데이터셋으로 훈련된 모델가 질문 응답 및 요약과 같은 후행 작업으로의 일반화 성능이 떨어지는 이유를 탐구하는 것.
• 기존의 NLI 데이터셋과 실제 후행 작업 간의 분포적 격차로서 전제 길이의 중요성을 규명하는 것.
• 기존의 MCRC 데이터셋을 고품질의 장문 전제 NLI 데이터셋으로 변환하는 전략을 개발하고 평가하는 것.
• 이러한 새로운 데이터셋으로 훈련된 모델가 장기적 맥락 추론 작업에서 표준 NLI 데이터로 훈련된 모델보다 뛰어난 성능을 보이는지 입증하는 것.
• 진정으로 일반화 가능한 NLI 모델을 훈련하기 위한 새로운 광범위하게 활용 가능한 자원을 제공하는 것.

제안 방법

• 세 가지 변환 전략을 제안한다: 규칙 기반(휴리스틱 문장 분할), 신경 기반(신경 시퀀스-투-시퀀스 생성), 하이브리드(규칙 기반 구조와 신경 기반 보완의 조합).
• 하이브리드 방법은 전제-가설 쌍의 구조를 규칙 기반 템플릿으로 설정하고, 신경 모델을 적용하여 문법적 유창성과 자연스러움을 향상시킨다.
• 기존의 MCRC 데이터셋(RACE, MultiRC, DREAM, CosmosQA, RACE 등)을 장문의 다중문장 전제를 가진 NLI 스타일 데이터셋으로 재사용한다.
• 모델들은 변환된 NLI 데이터셋으로 미세조정되고, 두 가지 후행 작업에서 평가된다: MCRC(분류 문제로 간주) 및 CFCS(분류 및 순위 매기기 모두).
• 다양한 전제 길이에서의 성능을 분석하여 장기 맥락으로의 일반화 능력을 평가한다.
• MCRC에서의 경쟁적 성능과 CFCS에서의 최고 성능을 통해 변환된 데이터셋의 품질을 검증한다.

실험 결과

연구 질문

• RQ1 NLI 데이터셋의 전제 길이가 질문 응답 및 요약과 같은 후행 작업으로의 모델 이식 가능성에 크게 영향을 미치는가?
• RQ2 문법적 또는 구조적 유창성을 손상시키지 않고 기존의 MCRC 데이터셋을 고품질의 장문 전제 NLI 데이터셋으로 효과적으로 변환할 수 있는가?
• RQ3 규칙 기반, 신경 기반, 하이브리드 전략 등 다양한 변환 전략이 결과 NLI 인스턴스의 의미적·구문적 품질을 얼마나 잘 유지하는가?
• RQ4 장문 전제 NLI 데이터셋으로 훈련된 모델가 다중문장 추론이 필요한 후행 작업에서 문장 수준 NLI 데이터셋으로 훈련된 모델보다 뛰어난 성능을 보이는가?
• RQ5 짧은 전제 NLI 데이터로 훈련된 모델이 장문 전제 후행 작업에 적용되었을 때 성능 저하가 측정 가능한 정도로 발생하는가?

주요 결과

• 하이브리드 변환된 RACE Hybrid 데이터셋으로 훈련된 모델은 CFCS 분류 작업에서 86.55%의 균형 잡힌 정확도와 0.73의 F1 스코어를 기록하여 이전에 보고된 모든 결과를 초월했다.
• 평균 전제 길이가 가장 긴 RACE Hybrid(188.5단어)로 훈련된 모델는 MultiNLI와 같이 짧은 전제 길이를 가진 데이터셋으로 훈련된 모델보다 전반적으로 뛰어난 성능을 보였으며, 전제 길이가 200단어를 초월할수록 그 격차가 더욱 커졌다.
• 문장 쌍 순위 매기기 작업에서 RACE Hybrid 모델은 75.70%의 정확도를 기록하여 장기 맥락 추론에서 뛰어난 성능을 보였고, 반면 MultiNLI 모델은 200단어를 초월하는 전제에서 급격히 성능이 떨어졌다.
• 하이브리드 변환 방법이 가장 높은 품질의 NLI 인스턴스를 생성하였으며, 규칙 기반 또는 신경 기반 전용 접근 방식보다 문법적 유창성과 구조적 정확성을 더 잘 균형 있게 유지했다.
• 짧은 전제 NLI 데이터로 훈련된 모델의 MCRC 및 CFCS 작업에서의 성능은 전제 길이가 증가함에 따라 더 급격히 저하되었으며, 이는 장기 맥락 훈련의 중요성을 확인시켰다.
• 결과는 전제 길이의 분포적 격차가 문장 수준 NLI에서 후행 작업으로의 이식 성능이 열악한 주요 원인임을 강력한 경험적 증거로 제시한다.