[논문 리뷰] Why Machine Reading Comprehension Models Learn Shortcuts?

Yuxuan Lai, Chen Zhang외 3명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 기계적 읽기 이해(MRC) 모델이 진정한 이해 기술 대신 단기적 해결책을 학습하는 이유를 조사한다. 두 개의 합성 데이터셋(단서 질문과 과도한 질문이 짝지어진 형태)을 사용하여, 모델가 단서 질문을 더 이르고 쉽게 학습하는 이유는 더 높은 기울기 최적화 우선도 때문이며, 훈련 데이터에서 단서 질문 비율이 높을수록 복잡한 추론 기술(예: 어휘 재구성)의 발달이 저해됨을 보여준다.

ABSTRACT

Recent studies report that many machine reading comprehension (MRC) models can perform closely to or even better than humans on benchmark datasets. However, existing works indicate that many MRC models may learn shortcuts to outwit these benchmarks, but the performance is unsatisfactory in real-world applications. In this work, we attempt to explore, instead of the expected comprehension skills, why these models learn the shortcuts. Based on the observation that a large portion of questions in current datasets have shortcut solutions, we argue that larger proportion of shortcut questions in training data make models rely on shortcut tricks excessively. To investigate this hypothesis, we carefully design two synthetic datasets with annotations that indicate whether a question can be answered using shortcut solutions. We further propose two new methods to quantitatively analyze the learning difficulty regarding shortcut and challenging questions, and revealing the inherent learning mechanism behind the different performance between the two kinds of questions. A thorough empirical analysis shows that MRC models tend to learn shortcut questions earlier than challenging questions, and the high proportions of shortcut questions in training sets hinder models from exploring the sophisticated reasoning skills in the later stage of training.

연구 동기 및 목표

• MRC 모델이 의도된 이해 기술(예: 어휘 재구성 또는 공호성 해결) 대신 단서적 해결책을 학습하는 이유를 조사하기 위해.
• 단서 질문 대비 과도한 질문을 레이블링한 데이터셋의 부족으로 인해 모델 학습 행동에 대한 실증적 분석이 제한되는 문제를 해결하기 위해.
• 훈련 데이터에서 단서 질문의 비율이 모델의 학습 역학과 과도한 추론 작업 성능에 미치는 영향을 정량화하기 위해.
• 단서 질문과 복잡한 추론 질문 간 성능 차이의 배경에 있는 학습 메커니즘을 탐색하기 위한 방법 개발하기 위해.

제안 방법

• 각 (패스제이지, 질문) 쌍이 단서 버전과 어휘 재구성 또는 공호성 해결이 필요한 과도한 버전을 가진 합성 MRC 데이터셋을 설계한다.
• 단서 질문과 과도한 질문의 스타일, 길이, 주제가 거의 동일하도록 확보하여 추론 복잡도의 영향만을 분리한다.
• 훈련 중에 단서 질문과 과도한 질문 세트의 학습 난이도를 정량적으로 측정하기 위한 평가 방법 두 가지를 제안한다.
• 기울기 기반 최적화 분석을 사용하여 모델이 단서 답변과 과도한 답변을 언제 학습하는지 추적하고, 학습 우선도를 식별한다.
• BiDAF와 BERT 모델을 단서 질문 비율이 다른 조건에서 훈련하여 학습 역학과 성능 변화를 관찰한다.
• 단계별 정확도 추적을 통해 모델이 각 질문 유형에 대해 처음으로 정답을 맞추는 시점을 분석한다.

실험 결과

연구 질문

• RQ1 왜 MRC 모델이 의도된 이해 기술보다 단서적 해결책을 더 쉽게 학습하는가?
• RQ2 훈련 데이터에서 단서 질문의 비율이 복잡한 추론 기술 학습에 어떤 영향을 미치는가?
• RQ3 모델이 단서 질문을 과도한 질문보다 언제 학습하는가?
• RQ4 기울기 최적화는 단서 학습을 더 깊은 추론보다 우선시하는 데 어떤 역할을 하는가?
• RQ5 단서 질문과 과도한 질문 간의 학습 난이도 차이를 정량적으로 측정할 수 있는가?

주요 결과

• 모델은 단서 질문을 과도한 질문보다 상당히 이르게 학습한다. BERT는 동일한 훈련 설정에서 단서 질문을 380개의 훈련 스텝 내에 정확히 답변한다.
• 유사한 훈련 설정에서 어휘 재구성 기반의 과도한 질문은 630개의 스텝이 지난 후에야 정확히 답변되므로 명확한 학습 지연이 있음을 시사한다.
• 훈련 데이터에서 단서 질문 비율이 높을수록 모델이 단서에 과도하게 의존하게 되며, 후속 훈련 단계에서 복잡한 추론 기술 학습에 대한 동기가 감소한다.
• 기울기 기반 최적화기는 훈련 초반에 단서 패턴의 피팅을 우선시하여 고도의 추론 기술 탐색을 저해한다.
• 합성 데이터셋은 추론 복잡도를 효과적으로 분리하여 모델 학습 행동의 통제된 분석을 가능하게 했다.
• 결과적으로 모델가 더 쉬운 결정 경계를 먼저 학습하는 경향이 있음을 실증적으로 확인했으며, 단서 질문은 MRC에서 이러한 더 쉬운 경계를 나타낸다.