[논문 리뷰] A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction

Yilin Niu, Fangkai Jiao외 4명|arXiv (Cornell University)|2020. 05. 11.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 기존의 정답 레이블이 없는 상황에서 추출형 및 비추출형 MRC 작업에서 증거 추출 성능을 향상시키기 위해 자기학습 방법(STM)을 제안한다. 이 방법은 기본 모델의 예측을 기반으로 반복적으로 소프트 증거 레이블을 생성하고 개선함으로써, 정답 레이블 없이도 성능을 향상시킨다. STM은 7개의 데이터셋에서 추출형 및 비추출형 MRC 작업 전반에 걸쳐 성능을 향상시키며, CoQA에서 최대 +40%까지 증거 추출 정확도 향상을 기록하여 다양한 MRC 작업과 BERT, RoBERTa와 같은 기본 모델에 걸쳐 뛰어난 일반화 능력과 안정성을 입증한다.

ABSTRACT

Neural models have achieved great success on machine reading comprehension (MRC), many of which typically consist of two components: an evidence extractor and an answer predictor. The former seeks the most relevant information from a reference text, while the latter is to locate or generate answers from the extracted evidence. Despite the importance of evidence labels for training the evidence extractor, they are not cheaply accessible, particularly in many non-extractive MRC tasks such as YES/NO question answering and multi-choice MRC. To address this problem, we present a Self-Training method (STM), which supervises the evidence extractor with auto-generated evidence labels in an iterative process. At each iteration, a base MRC model is trained with golden answers and noisy evidence labels. The trained model will predict pseudo evidence labels as extra supervision in the next iteration. We evaluate STM on seven datasets over three MRC tasks. Experimental results demonstrate the improvement on existing MRC models, and we also analyze how and why such a self-training method works in MRC. The source code can be obtained from https://github.com/SparkJiao/Self-Training-MRC

연구 동기 및 목표

• YES/NO QA 및 다중 선택 MRC와 같은 비추출형 MRC 작업에서 정답 증거 레이블이 제한되거나 존재하지 않는 문제를 해결하기 위해.
• 외부 자원이나 수동 주석 없이도 레이블 효율적으로 증거 추출 성능을 향상시킬 수 있는 일반적인 방법을 개발하기 위해.
• 이전 반복에서 생성된 가짜 레이블이 후속 모델 업데이트를 지도하는 자기학습을 통해 증거 예측을 반복적으로 개선하기 위해.
• BERT와 RoBERTa를 포함한 다양한 MRC 작업 및 기본 모델에서 방법의 효과성과 안정성을 평가하기 위해.
• 자기학습 루프 내에서 오류 전파와 자기 수정 동역학을 분석하여 안정성을 확보하기 위해.

제안 방법

• 이 방법은 반복적인 자기학습 루프를 활용한다: 각 반복에서 기본 MRC 모델은 이전 반복에서 생성된 노이즈가 섞인 가짜 증거 레이블과 정답 답변을 기반으로 훈련된다.
• 가짜 증거 레이블은 각 훈련 단계 이후 모델 자체에 의해 생성되며, 이는 시간이 지남에 따라 증거 추출 성능을 향상시키는 피드백 루프를 형성한다.
• 증거 추출기 모듈은 자동 생성된 레이블을 사용하여 지도 학습되며, 인간 주석이 없는 엔드 투 엔드 훈련이 가능해진다.
• 이 방법은 BERT와 DSQA를 포함한 어떤 MRC 모델 아키텍처에도 일반적으로 적용 가능하며, 추출형 및 비추출형 작업 모두에서 작동한다.
• 소프트 증거 추출은 미분 가능한 어텐션 또는 스판 예측을 사용하여 연속적 또는 확률적 증거 점수를 생성함으로써 기울기 기반 최적화를 가능하게 한다.
• 이 방법은 강화 학습이나 복잡한 레이블 정제 기법을 피하고, 대신 안정적인 반복적 개선을 통해 가짜 레이블을 활용한다.

실험 결과

연구 질문

• RQ1 정답 레이블이 없는 상황에서 자동으로 생성된 가짜 증거 레이블을 활용한 자기학습이 증거 추출 성능 향상에 기여하는가?
• RQ2 가짜 레이블의 반복적 개선이 증거 추출기 및 최종 답변 예측기 성능에 어떤 영향을 미치는가?
• RQ3 자기학습 루프 내에서 오류 전파가 얼마나 발생하며, 모델은 잘못된 예측에서 자가 수정할 수 있는가?
• RQ4 이 방법은 YES/NO QA, 다중 선택 MRC, 오픈 도메인 QA를 포함한 다양한 MRC 작업에 일반화되는가?
• RQ5 특히 BERT-base와 같은 약한 모델과 RoBERTa-large와 같은 강력한 모델 간에 STM의 성능는 어떻게 달라지는가?

주요 결과

• RoBERTa-HA에 적용했을 때 CoQA 개발 세트에서 증거 추출 정확도가 13.8%에서 19.3%로 최대 40% 향상되어 상당한 향상이 이루어졌다.
• BERT-HA+STM은 CoQA와 MultiRC에서 기존 BERT-HA 모델보다 모든 지표에서 뛰어난 성능을 보이며 정밀도와 재현율 모두에서 일관된 향상을 보였다.
• 초기 반복(기본 BERT-HA)에서 잘못된 증거 예측 비율이 80%에서 세 번의 자기학습 반복 후 60%로 감소했으며, 이 중 27%의 잘못된 예측이 높은 신뢰도로 수정되었다.
• 예측이 잘못 수정되고 전파된 비율은 4%에 불과했지만, 거의 50%의 오류가 후속 반복에서 수정되어 오류 전파에 대한 뛰어난 내성성을 보였다.
• 세 가지 MRC 작업을 포함한 7개의 데이터셋에서 일관된 성능 향상이 이루어져, 일반화 능력과 효과성을 입증했다.
• RoBERTa-HA와 같은 강력한 기본 모델이 높은 답변 정확도(92.6%)를 달성한 상황에서도 STM은 여전히 증거 추출 성능을 크게 향상시켰으며, 이는 강력한 모델에게도 더 나은 증거 추출이 도움이 된다는 것을 시사한다.