[논문 리뷰] Reading Comprehension as Natural Language Inference: A Semantic Analysis

Anshuman Mishra, Dhruvesh Patel외 4명|arXiv (Cornell University)|2020. 10. 04.

Topic Modeling참고 문헌 15인용 수 4

한 줄 요약

이 논문은 RACE 데이터셋을 NLI 형식으로 변환하고 QA 및 NLI 형식으로 훈련된 RoBERTa 모델을 비교하여 독해력 이해를 자연어 추론(NLI)으로 간주하는지 조사한다. NLI 기반 모델은 추론, 대화, 수학 추론 질문에서 QA 기반 모델을 능가하는 반면, 부정 질문에서는 QA 모델이 더 잘 성과함을 발견하여, 작업 형식에 따라 성능 우월성이 달라짐을 시사한다.

ABSTRACT

In the recent past, Natural language Inference (NLI) has gained significant attention, particularly given its promise for downstream NLP tasks. However, its true impact is limited and has not been well studied. Therefore, in this paper, we explore the utility of NLI for one of the most prominent downstream tasks, viz. Question Answering (QA). We transform the one of the largest available MRC dataset (RACE) to an NLI form, and compare the performances of a state-of-the-art model (RoBERTa) on both these forms. We propose new characterizations of questions, and evaluate the performance of QA and NLI models on these categories. We highlight clear categories for which the model is able to perform better when the data is presented in a coherent entailment form, and a structured question-answer concatenation form, respectively.

연구 동기 및 목표

• 독해력 이해를 자연어 추론(NLI) 작업으로 변환할 경우 모델 성능이 향상되는지 평가하기.
• NLI 기반 모델이 전통적 QA 모델을 능가하는 의미적 추론 범주를 특정하기.
• 질문-답변 연결 방식과 전제-가설 쌍 형식의 데이터 포맷이 모델 성능에 미치는 영향 분석하기.
• NLI 형식에 유리한 질문 유형의 의미적 특성 기술하기.
• 독해력 작업에서 질문 유형과 추론 범주에 따라 모델 선택을 안내하기.

제안 방법

• RACE 데이터셋(클로즈 스타일 질문 제외)을 규칙 기반 방법을 사용해 NLI 형식으로 변환하여, 각 질문-답변 쌍을 전제로 하는 가설로 변환.
• 이전 연구(Demszky 등, 2018)의 의존성 구문 분석 및 어휘 재작성 규칙을 활용하고, RACE 전용 질문 유형(예: '다음 중 참이 아닌 것은?')에 맞게 맞춤형 확장을 적용.
• 기존 QA 형식의 RACE 데이터와 변환된 NLI 형식의 데이터에 대해 RoBERTa를 미세조정하여 모델 성능 비교.
• QA 모델과 NLI 모델이 다름을 보인 175개의 개발셋 예시를 수작업으로 7개의 의미적 추론 범주로 분류: 언어적 매칭, 핵심 아이디어, 부정, 대화, 수학, 추론, 귀납적 추론.
• 키워드(예: 'not', 'how many', 'true')와 같은 히우리스틱 기반 분류를 사용해 비독립적인 질문 유형 정의하여 정량적 비교 수행.
• 수작업 및 히우리스틱 기반 범주에서의 모델 성능 평가를 통해 형식에 따른 성능 우월성 파악.

실험 결과

연구 질문

• RQ1 어떤 의미적 추론 범주에서 NLI 기반 모델이 독해력 작업에서 QA 기반 모델을 능가하는가?
• RQ2 RoBERTa 모델이 QA 형식 데이터와 NLI 형식 데이터로 훈련되었을 때 성능가 어떻게 달라지는가?
• RQ3 NLI 변환 과정에서 적절한 가설 생성이 단순한 질문-답변 연결보다 얼마나 성능 향상에 기여하는가?
• RQ4 대화, 부정, 수학적 추론을 포함한 특정 질문 유형에서는 NLI 형식이 뚜렷한 성능 향상을 가져오는가?
• RQ5 특히 복잡한 추론 작업에서, NLI 데이터셋으로 미리 훈련하지 않더라도 NLI 형식이 성능 우위를 제공하는가?

주요 결과

• 대화 추론 질문에서 NLI 기반 모델은 83.60%의 정확도를 기록하여 QA 모델의 80.65%를 뛰어넘음.
• 추론 질문(예: '다음 중 참인 문장은?')에서 NLI 모델은 88.29%의 정확도를 기록하여 QA 모델의 81.91%를 크게 앞서며 유의미한 성능 우위 확보.
• 수학 추론 질문(예: '눈의 기능은 몇 가지 논의되었는가?')에서 NLI 모델은 55.00%의 정확도를 기록하여 QA 모델의 45.00%를 앞서며 뚜렷한 성능 우위를 보임.
• 부정 질문(예: '다음 중 참이 아닌 것은?')에서는 QA 모델이 80.86%의 정확도를 기록하여 NLI 모델의 77.77%를 앞서며 이 범주에서는 QA 형식이 유리함.
• 대화에서의 추론이나 정확한 텍스트 근거 추론이 필요한 질문에서 NLI 모델은 일관된 성능 향상을 보이며, 구조화된 가설 생성이 이 경우에 추론 능력을 향상시킴을 시사함.
• 수작업 분석 결과, QA 모델이 NLI 모델을 앞서는 손실 사례의 66%는 복잡한 질문 유형에서의 가설 생성 품질 저하 때문임을 확인하여, 고품질의 변환 규칙의 중요성을 강조함.