[논문 리뷰] Evidence Sentence Extraction for Machine Reading Comprehension

Hai Wang, Dian Yu외 5명|arXiv (Cornell University)|2019. 02. 23.

Topic Modeling참고 문헌 57인용 수 8

한 줄 요약

이 논문은 다중 선택형 기계 독해(MRC)를 위한 최초의 증거 문장 추출 방법을 제안하며, 원거리 지도 학습을 통해 노이즈가 많은 레이블을 생성하고, 깊이 있는 확률적 논리 프레임워크를 사용해 이를 정제한다. 신경 독자 모델에 단지 추출된 증거 문장들만 입력함으로써, MultiRC, RACE, DREAM 데이터셋에서 전체 문서를 사용하는 모델들과 비교해 유사하거나 더 뛰어난 성능을 달성하며, 해석 가능한 MRC의 발전에 기여한다.

ABSTRACT

Remarkable success has been achieved in the last few years on some limited machine reading comprehension (MRC) tasks. However, it is still difficult to interpret the predictions of existing MRC models. In this paper, we focus on extracting evidence sentences that can explain or support the answers of multiple-choice MRC tasks, where the majority of answer options cannot be directly extracted from reference documents. Due to the lack of ground truth evidence sentence labels in most cases, we apply distant supervision to generate imperfect labels and then use them to train an evidence sentence extractor. To denoise the noisy labels, we apply a recently proposed deep probabilistic logic learning framework to incorporate both sentence-level and cross-sentence linguistic indicators for indirect supervision. We feed the extracted evidence sentences into existing MRC models and evaluate the end-to-end performance on three challenging multiple-choice MRC datasets: MultiRC, RACE, and DREAM, achieving comparable or better performance than the same models that take as input the full reference document. To the best of our knowledge, this is the first work extracting evidence sentences for multiple-choice MRC.

연구 동기 및 목표

• 기존 다중 선택형 MRC 모델들이 예측에 대한 텍스트적 근거를 제공하지 않아 해석이 어려운 점을 해결하기 위해.
• 다중 선택형 MRC 작업에서 정답 선택지들을 지지하거나 함의하는 참조 문서의 증거 문장을 추출하기 위해.
• 지표 증거 레이블이 부재할 경우 원거리 지도 학습을 적용해 노이즈가 많은 실버 표준 레이블을 생성함으로써 지표 증거 레이블의 부재를 보완하기 위해.
• 문장 간 인접성 및 문장 간 관계와 같은 언어적 지표를 활용해 깊이 있는 확률적 논리 학습 프레임워크를 통해 노이즈가 있는 레이블을 정제하기 위해.
• 단지 증거 문장들만 입력으로 사용했을 때의 종단간 MRC 성능을 측정하여 추출된 증거의 품질을 평가하기 위해.

제안 방법

• 질문, 정답 선택지, 참조 문서의 문장 간 어휘적 겹침을 매칭하여 원거리 지도 학습을 적용해 노이즈가 많은 증거 문장 레이블을 생성한다.
• 문장 수준 및 문장 간 언어적 지표(예: 인접한 문장은 종종 동일한 레이블을 가짐)를 설계하여 간접적 지도 신호로 활용한다.
• 이러한 언어적 지표를 함께 모델링하고 학습 중에 노이즈가 많은 레이블을 정제하기 위해 깊이 있는 확률적 논리 학습 프레임워크를 활용한다.
• 정제된 레이블을 사용해 (질문, 정답 선택지) 쌍을 지지하는 문장을 예측하는 증거 문장 추출기 모델을 훈련한다.
• 기존 신경 MRC 모델에 단지 증거 문장들만 입력으로 제공하여 추출된 증거 문장들을 평가한다. 이때 전체 문서를 대체한다.
• MultiRC, RACE, DREAM에서 종단간 MRC 성능을 간접적 지표로 사용해 증거 품질을 평가한다.

실험 결과

연구 질문

• RQ1 증거 문장 추출이 예측에 대한 텍스트적 근거를 제공함으로써 다중 선택형 MRC 모델의 해석 가능성에 기여할 수 있는가?
• RQ2 지표 증거 레이블이 없을 경우 원거리 지도 학습이 약한 지도 신호를 생성하는 데 얼마나 효과적인가?
• RQ3 문장 간 인접성 및 논지 일관성과 같은 언어적 지표가 증거 추출에서 노이즈가 많은 레이블의 품질을 향상시킬 수 있는가?
• RQ4 전체 문서를 사용하는 것과 비교해 단지 추출된 증거 문장들만 입력으로 사용했을 때 MRC 성능이 경쟁력 있거나 더 뛰어난가?
• RQ5 자동으로 추출된 증거 문장들이 인간이 애너테이션한 지표 증거와 얼마나 가까운가?

주요 결과

• 제안된 방법은 전체 참조 문서를 사용하는 모델들과 비교해 MultiRC, RACE, DREAM에서 유사하거나 더 높은 종단간 성능을 달성한다.
• 단지 어휘 매칭이나 주의 메커니즘에 의존하는 베이스라인 모델보다 성능이 뛰어나며, 언어 지식을 통합하는 것이 유의미한 가치를 가짐을 입증한다.
• 노이즈 제거에 깊이 있는 확률적 논리 기반 접근법을 사용함으로써 레이블 품질이 크게 향상되었으며, 이를 뒷받침하는 후속 MRC 성능 향상으로 확인된다.
• 강력한 성능에도 불구하고 자동으로 추출된 증거 문장과 인간 애너테이션 지표 증거 사이에 여전히 큰 격차가 존재하여 향후 개선 여지가 있음을 시사한다.
• 이 방법은 다중 선택형 MRC를 위한 체계적인 증거 문장 추출을 처음으로 시도하며, 해석 가능한 MRC의 새로운 기준을 설정한다.
• 실험 결과, 단지 증거 문장들만으로도 신경 독자 모델이 뛰어난 성능을 달성할 수 있음을 확인하여 추출 파이프라인의 효과성을 검증한다.