[논문 리뷰] Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision

Ning Bian, Xianpei Han외 4명|arXiv (Cornell University)|2021. 07. 19.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 사전 훈련된 언어 모델(PLM)과 기계 독해(MRC) 사이의 격차를 메우기 위해 자가 지도 학습 프레임워크를 제안한다. 이는 새로운 사전 학습 과제인 Spotting-MLM를 도입하여, 레이블이 없는 데이터에서 정답 스파니지를 식별하고 복사하도록 모델을 훈련시킨다. 추론 시 질문을 재작성하여 모델의 견고성을 높이며, 표준 MRC 벤치마크에서 최신 기술 성능(SOTA)을 달성하여 악성 데이터셋에서 최대 34.7 F1 포인트의 성능 향상을 기록한다.

ABSTRACT

Despite recent success in machine reading comprehension (MRC), learning high-quality MRC models still requires large-scale labeled training data, even using strong pre-trained language models (PLMs). The pre-training tasks for PLMs are not question-answering or MRC-based tasks, making existing PLMs unable to be directly used for unsupervised MRC. Specifically, MRC aims to spot an accurate answer span from the given document, but PLMs focus on token filling in sentences. In this paper, we propose a new framework for unsupervised MRC. Firstly, we propose to learn to spot answer spans in documents via self-supervised learning, by designing a self-supervision pretext task for MRC - Spotting-MLM. Solving this task requires capturing deep interactions between sentences in documents. Secondly, we apply a simple sentence rewriting strategy in the inference stage to alleviate the expression mismatch between questions and documents. Experiments show that our method achieves a new state-of-the-art performance for unsupervised MRC.

연구 동기 및 목표

• SQuAD와 같은 대규모 인간 주석 데이터셋에 의존하는 MRC 모델의 데이터 집약적인 성향을 해결하기 위해.
• 토큰 채우기 과제로 훈련된 사전 훈련된 언어 모델(PLM)과 문맥 민감한 스파니지 식별이 필요한 MRC 사이의 격차를 메우기 위해.
• 수동 주석 또는 합성 훈련 데이터가 전혀 필요 없이 스파니지 식별 능력을 학습하는 자가 지도 방법을 개발하기 위해.
• 추론 시 질문과 문서 간 표현 불일치 문제를 해결함으로써 자가 지도 MRC의 견고성을 향상시키기 위해.
• 자기 지도 학습이 데이터 합성 기법과 상호 보완적일 수 있음을 입증하고, 레이블이 제한된 경우 성능 향상에 기여할 수 있음을 보여주기 위해.

제안 방법

• 문서 내 반복적인 정보성 스파니지를 마스킹하고, 동일한 문단에서 정확한 스파니지를 복사하여 채우도록 모델을 훈련시키는 자가 지도 사전 학습 과제인 Spotting-MLM을 도입한다.
• 모델이 단일 토큰 예측을 넘어서 문장 간 깊은 상호작용을 모델링해야 하므로, 의미적으로 관련 있는 스파니지를 식별하고 검색해야 한다.
• 추론 시 질문을 서술문으로 재작성하여 레이블이 없는 텍스트의 훈련 분포와 일치시켜 표현 불일치를 줄인다.
• 표준 트랜스포머 기반 모델(예: BERT)을 사용하며, 레이블이 없는 텍스트 코퍼스만을 사용하여 자가 지도 Spotting-MLM 과제에 맞추어 미세조정한다.
• 자기 지도 모델을 합성 MRC 데이터에 대해 미세조정하여 데이터 합성 기법과 결합함으로써 성능을 추가로 향상시킨다.
• 템플릿 기반 또는 데이터 기반 질문 생성을 피하고, 원시 텍스트에서 직접 스파니지 식별 능력을 자가 지도 학습을 통해 학습한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터 없이도 자가 지도 사전 학습 과제가 문맥 민감한 스파니지 식별 능력을 효과적으로 학습시킬 수 있는가?
• RQ2 추론 시 질문을 서술문으로 재작성하는 것이 표현 불일치를 줄이고 자가 지도 MRC의 견고성을 향상시키는가?
• RQ3 제안된 자가 지도 방법은 표준 및 악성 MRC 벤치마크에서 데이터 합성 기반 베이스라인 대비 성능과 견고성 측면에서 어떻게 비교되는가?
• RQ4 자기 지도 모델을 합성 데이터와 효과적으로 조합하여 자원이 제한된 환경에서 성능 향상을 이룰 수 있는가?
• RQ5 자기 지도 사전 훈련이 대규모 인간 주석 MRC 데이터셋에 대한 의존도를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 자가 지도 방법은 자가 지도 MRC에서 새로운 최신 기술 성능을 달성하였으며, 악성 데이터셋에서 데이터 합성 기반 베이스라인 대비 최대 34.7 F1 포인트 향상되었다.
• SQuAD 및 NewsQA 데이터셋에서 각각 EM/F1 점수 78.8/86.8과 71.0/78.8을 기록하여 기존 자가 지도 베이스라인을 크게 앞서 갔다.
• 악성 데이터셋에서 최고 성능의 베이스라인 대비 F1 점수를 각각 26.0 및 34.7 포인트 향상시켜 뛰어난 견고성을 입증했다.
• 자원이 제한된 환경에서 레이블이 있는 훈련 데이터의 1%만으로 자기 지도 모델을 미세조정한 결과 평균 F1 점수가 71.0을 기록하였으며, 동일한 데이터로 미세조정한 BERT를 능가했다.
• 자기 지도 모델과 데이터 합성 기법을 조합하면 성능 향상이 추가로 이루어져 두 접근법 간 상호 보완성이 입증되었다.
• 추론 시 문장 재작성 전략이 일반화 능력을 크게 향상시켜 질문과 문서 간 표현 불일치의 영향을 줄였다.