[논문 리뷰] Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification

Yizhong Wang, Kai Liu외 6명|arXiv (Cornell University)|2018. 05. 06.

Topic Modeling참고 문헌 26인용 수 11

한 줄 요약

이 논문은 다중 문단 기반 기계적 독해(MRC)를 위한 엔드 투 엔드 신경망 모델을 제안하며, 다중 문단 간 정답 검증을 가능하게 하여 정답 정확도를 향상시킵니다. 정답 경계 예측, 정답 내용 모델링, 다중 문단 간 검증을 통합하여 학습함으로써, 영어 MS-MARCO 및 중국어 DuReader 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성합니다. 이는 다양한 문단에서 올바른 정답 후보 간 의미적 일관성을 기반으로 합니다.

ABSTRACT

Machine reading comprehension (MRC) on real web data usually requires the machine to answer a question by analyzing multiple passages retrieved by search engine. Compared with MRC on a single passage, multi-passage MRC is more challenging, since we are likely to get multiple confusing answer candidates from different passages. To address this problem, we propose an end-to-end neural model that enables those answer candidates from different passages to verify each other based on their content representations. Specifically, we jointly train three modules that can predict the final answer based on three factors: the answer boundary, the answer content and the cross-passage answer verification. The experimental results show that our method outperforms the baseline by a large margin and achieves the state-of-the-art performance on the English MS-MARCO dataset and the Chinese DuReader dataset, both of which are designed for MRC in real-world settings.

연구 동기 및 목표

• 실제 웹 데이터에서 다중 문단 기반 기계적 독해(MRC)에서 다수의 혼동스러운 정답 후보가 존재하는 문제에 대응합니다.
• 정답 후보가 충돌하거나 모호한 경우 단일 문단 MRC 모델이 다중 문단 환경에 적용될 때 가지는 한계를 극복합니다.
• 다른 문단의 정답 후보가 상호로 내용 표현을 기반으로 검증할 수 있도록 하여 정답 선택을 향상시킵니다.
• 정답 경계 탐지, 내용 모델링, 다중 문단 간 검증을 통합한 엔드 투 엔드 학습 가능한 프레임워크를 개발합니다.
• 웹 스케일 질문 응답을 위한 실세계 MRC 벤치마크에서 최신 기술 수준의 성능을 달성합니다.

제안 방법

• 각 문단에서 정답 구간의 시작 및 끝 위치를 예측하기 위해 경계 기반 포인터 네트워크를 사용합니다.
• 정답 내용을 내용 확률을 통해 모델링하여 정답 구간 내에서 단어 수준의 어텐션을 개선하고 의미적으로 관련성이 높은 단어를 강조합니다.
• 다중 문단 어텐션을 적용하여 각 정답 후보가 다른 후보의 내용 표현을 기반으로 참조함으로써 일관성을 평가합니다.
• 경계 레이블, 내용 점수, 검증 신호 등의 다양한 형태의 정답 감독을 통해 세 모듈을 공동으로 학습합니다.
• 중복되고 의미적으로 일관된 정답을 장려하고, 일관되지 않거나 잘못된 후보를 처벌하는 미분 가능한 손실 함수를 활용합니다.
• 정답 후보 간 상호 자기 어텐션(self-attention)을 통해 다수의 문단에서 일관성을 보이는 정답을 식별하고 검증합니다.

실험 결과

연구 질문

• RQ1 다양한 문단에서 충돌하는 정답 후보가 존재하는 다중 문단 MRC 환경에서 다중 문단 간 정답 검증이 성능 향상에 기여할 수 있는가?
• RQ2 경계 스파닝이 유사한 정답 후보들 사이에서 의미적으로 올바른 후보와 잘못된 후보를 구분하는 데 내용 표현을 어떻게 활용할 수 있는가?
• RQ3 경계 탐지, 내용 모델링, 검증 모듈의 공동 학습이 전체 MRC 성능 향상에 얼마나 기여하는가?
• RQ4 다른 문단 간 정답 검증 기능을 갖춘 모델이 실세계 MRC 환경에서 파이프라인 또는 별도의 재정렬 접근 방식을 능가할 수 있는가?
• RQ5 다른 문단에서 유도된 정답 후보 간 의미적 일관성이 정답성과 관련이 있으며, 이를 신경망 모델에서 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 모델은 영어 MS-MARCO 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기준 모델보다 뚜렷하게 뛰어난 성능을 보입니다.
• 중국어 DuReader 데이터셋에서도 모델은 최신 기술 수준의 결과를 달성하여 언어 및 도메인 간 강력한 일반화 능력을 입증합니다.
• 다중 문단 간 정답 검증 모듈은 정답 후보 간 일관성 불일치를 식별함으로써 잘못된 정답 예측을 효과적으로 줄입니다.
• 세 모듈의 공동 학습은 별도로 학습하거나 순차적 파이프라인을 사용하는 것보다 더 높은 성능을 이룹니다.
• 정답 구간 내에서의 내용 기반 어텐션은 의미적으로 유사하지만 잘못된 정답을 효과적으로 구분합니다.
• 모델이 다수의 문단에서 일관성을 보이는 정답을 식별하고 집계함으로써, 두 벤치마크 데이터셋 모두에서 F1 및 EM 점수를 높입니다.