[논문 리뷰] Read + Verify: Machine Reading Comprehension with Unanswerable Questions

Minghao Hu, Furu Wei외 4명|arXiv (Cornell University)|2018. 08. 17.

Topic Modeling참고 문헌 36인용 수 20

한 줄 요약

이 논문은 기계적 독해를 위한 읽기-검증 프레임워크를 제안하며, 먼저 후보 답변을 추출한 후 전용 검증기로 그 합법성을 검증하여 답변 불가 질문을 더 잘 탐지하도록 한다. 시스템은 답변 추출과 무답변 탐지 향상을 위해 두 가지 보조 손실을 도입하였고, 세 가지 검증기 아키텍처를 평가하여 제출일(2018년 8월 28일) 기준 SQuAD 2.0 테스트 세트에서 74.2 F1을 기록하며 최신 기술 수준 성능을 달성하였다.

ABSTRACT

Machine reading comprehension with unanswerable questions aims to abstain from answering when no answer can be inferred. In addition to extract answers, previous works usually predict an additional "no-answer" probability to detect unanswerable cases. However, they fail to validate the answerability of the question by verifying the legitimacy of the predicted answer. To address this problem, we propose a novel read-then-verify system, which not only utilizes a neural reader to extract candidate answers and produce no-answer probabilities, but also leverages an answer verifier to decide whether the predicted answer is entailed by the input snippets. Moreover, we introduce two auxiliary losses to help the reader better handle answer extraction as well as no-answer detection, and investigate three different architectures for the answer verifier. Our experiments on the SQuAD 2.0 dataset show that our system achieves a score of 74.2 F1 on the test set, achieving state-of-the-art results at the time of submission (Aug. 28th, 2018).

연구 동기 및 목표

• 기존 모델이 답변 불가 질문 상황에서 예측된 답변의 합법성을 검증하지 못하는 한계를 해결하기 위해.
• 보조 손실을 통해 답변 추출과 무답변 예측을 분리함으로써 무답변 탐지 성능을 향상시키기 위해.
• 후보 답변이 본문과 질문에 의해 함의되는지 확인하는 검증 단계를 도입하여 부정, 반대어 등 언어적 현상에 대한 강건성을 향상시키기 위해.
• 답변 검증을 위한 여러 아키텍처를 평가하고 국소 함의 탐지에 가장 효과적인 설계를 규명하기 위해.

제안 방법

• 시스템은 두 단계 아키텍처를 사용한다: 후보 답변 추출 및 무답변 확률 추정을 위한 리더, 그리고 답변 합법성 검증을 위한 검증기.
• 두 가지 보조 손실을 도입한다: 답변 추출 성능 향상을 위해 독립적인 스파닝 손실과, 공유 정규화의 영향 없이 무답변 탐지 성능을 강화하는 별도의 무답변 손실.
• 검증기는 자연어 함의(NLI)를 사용하여 추출된 답변이 본문과 질문에 논리적으로 뒷받침되는지 평가하며, 세 가지 아키텍처를 사용한다: 순차적, 상호작용 기반, 하이브리드.
• 검증기는 답변 문장과 질문을 비교하여 국소 함의를 탐지하며, 부정, 반대어, 불가능 조건과 같은 언어적 현상에 집중한다.
• 리더는 문맥 표현을 향상시키기 위해 ELMo 임베딩을 사용하여 훈련되며, 최종 예측은 리더 출력과 검증기 결정을 통합한다.
• 시스템은 SQuAD 2.0에서 평가되며, 답변 가능 및 불가 질문이 모두 포함된 벤치마크로, 평가 지표로는 F1과 EM 점수를 사용한다.

실험 결과

연구 질문

• RQ1 종단간 모델 대비 두 단계의 읽기-검증 프레임워크가 답변 불가 질문에 대한 강건성을 향상시키는가?
• RQ2 보조 손실이 답변 추출과 무답변 탐지의 분리 및 향상에 얼마나 효과적인가?
• RQ3 순차적, 상호작용 기반, 하이브리드 중 어떤 아키텍처 설계가 답변 검증에서 가장 높은 성능을 낼 수 있는가?
• RQ4 답변과 질문 간 국소 함의 탐지가 복잡한 언어적 현상에 대해 답변 불가 질문 식별에 도움이 되는가?
• RQ5 검증기 통합이 기준 모델 대비 SQuAD 2.0에서 F1 성능을 상당히 향상시키는가?

주요 결과

• 제안된 시스템은 제출일(2018년 8월 28일) 기준 SQuAD 2.0에서 테스트 F1 점수 74.2를 기록하여 당시 최신 기술 수준의 성능을 달성하였다.
• ELMo 임베딩을 사용한 리더만으로도 개발 세트에서 73.7 F1을 기록하였고, 검증기를 통합한 전체 시스템은 74.8 F1로 향상되었다.
• 부정 및 반대어 케이스의 오류율이 감소하여, 오류 집합에서 부정 오류는 9%에서 0%로 감소했고, 20개의 반대어 예제 중 4개만 잘못 분류되었다.
• 남은 오류의 대부분(46%)은 불가능 조건 및 기타 중립적 현상으로 인한 것으로 나타나, 복잡한 추론 실패 탐지에 어려움이 있음을 시사한다.
• 하이브리드 검증기 아키텍처가 순차적 및 상호작용 기반 모델보다 우수한 성능을 보였으며, 전역 및 국소 모델링을 결합함으로써 검증 정확도 향상이 가능함을 시사한다.
• 제거 실험을 통해 두 보조 손실 모두 성능 향상에 기여했음을 확인하였으며, 스파닝 손실은 답변 추출을 향상시키고, 무답변 손실은 탐지 과정에서의 간섭을 줄였다.