[논문 리뷰] A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning

Minghao Hu, Yuxing Peng외 2명|arXiv (Cornell University)|2019. 08. 15.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 다중 유형 다중 스파나(영역) 네트워크(MTMSN)를 제안하며, 다중 유형 예측기, 스파나 수를 고려한 동적 추출 메커니즘, 산술 표현 재순서 정렬 모듈을 통해 다양한 답변 유형—스파나, 수량, 산술 표현, 논리적 부정 포함—을 지원하는 신경 읽기 이해 모델이다. MTMSN은 DROP 숨겨진 테스트 세트에서 기존 최고 성능을 상회하는 새로운 최고 성능 기록인 79.9 F1을 달성하였다.

ABSTRACT

Rapid progress has been made in the field of reading comprehension and question answering, where several systems have achieved human parity in some simplified settings. However, the performance of these models degrades significantly when they are applied to more realistic scenarios, such as answers involve various types, multiple text strings are correct answers, or discrete reasoning abilities are required. In this paper, we introduce the Multi-Type Multi-Span Network (MTMSN), a neural reading comprehension model that combines a multi-type answer predictor designed to support various answer types (e.g., span, count, negation, and arithmetic expression) with a multi-span extraction method for dynamically producing one or multiple text spans. In addition, an arithmetic expression reranking mechanism is proposed to rank expression candidates for further confirming the prediction. Experiments show that our model achieves 79.9 F1 on the DROP hidden test set, creating new state-of-the-art results. Source code\footnote{\url{https://github.com/huminghao16/MTMSN}} is released to facilitate future work.

연구 동기 및 목표

• 기존의 읽기 이해 모델이 다양한 답변 유형, 다중 스파나, 이산 추론(예: 부정, 산술)을 처리하는 데에 한계를 보이는 문제를 해결하기 위해.
• 복잡하고 다면적인 질문에 대해 일반화 능력을 향상시키기 위해, 답변 스파나의 수와 내용을 동적으로 예측할 수 있는 통합 신경망 아키텍처를 설계하기 위해.
• 맥락 인식 재정렬을 통합하여 산술 추론 정확도를 향상시키고, 잘못된 기호 예측을 줄이기 위해 표현 후보를 재정렬함으로써 산술 추론을 향상시키기 위해.
• 이전 모델들이 겪는 고립된 수치 예측 및 고정된 단일 스파나 출력의 단점을 극복하기 위해, 특히 실제적이고 복잡한 읽기 이해 시나리오에서의 성능 향상을 위해.

제안 방법

• 스파나, 수량, 산술 표현, 논리적 부정을 포함한 다양한 답변 유형을 동시에 예측할 수 있는 다중 유형 답변 예측기를 도입하여, 답변 형식의 포괄성을 높였다.
• 스파나 수를 고려한 메커니즘을 통해 답변 스파나의 수를 동적으로 결정하고, 겹치지 않는 스파나를 추출함으로써 단일 및 다중 답변 케이스를 모두 지원한다.
• 패스제이지 및 질문의 깊은 맥락적 표현을 생성하기 위해 사전 학습된 트랜스포머 인코더(예: BERT)를 사용한다.
• 산술 표현 재정렬 메커니즘이 맥락의 타당성에 기반해 베이즈 서치로 생성된 표현 후보들을 평가하고 재정렬함으로써 최종 예측의 신뢰도를 향상시킨다.
• 각 답변 유형 및 스파나 추출을 위한 예측 헤드를 결합한 다중 작업 손실을 통해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 표현 생성을 위해 베이즈 서치 전략을 사용하고, 맥락 인식 점수를 활용해 비합리적인 후보를 걸러내기 위해 재정렬을 수행한다.

실험 결과

연구 질문

• RQ1 통합 신경망 아키텍처가 읽기 이해 작업에서 논리적 부정을 포함한 다양한 답변 유형을 효과적으로 처리할 수 있는가?
• RQ2 단일 스파나에 제한되지 않고, 동적으로 예측하고 추출할 수 있는 다중 겹치지 않는 스파나는 어떻게 달성할 수 있는가?
• RQ3 맥락 인식 재정렬을 통해 산술 표현 후보를 정렬하면 고립된 수치 예측에 비해 추론 정확도가 향상되는가?
• RQ4 논리적 부정과 다중 스파나 출력을 지원할 경우, DROP와 같은 실제 세계의 복잡한 읽기 이해 벤치마크에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 MTMSN 모델의 개별 구성 요소가 DROP 데이터셋에서의 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• MTMSN은 DROP 숨겨진 테스트 세트에서 기존 최고 성능 모델 대비 32.9% 포인트의 절대적 향상을 기록하며, 새로운 최고 성능 기록인 79.9 F1을 달성하였다.
• 개발 세트에서 MTMSN은 강력한 BERT 기반 베이스라인보다 13.2 F1 포인트 높은 성능을 기록하여, 구성 요소의 효과성을 입증하였다.
• 제거 실험 결과, 다중 유형 예측, 다중 스파나 추출, 표현 재정렬 각각의 구성 요소가 성능 향상에 기여하고 있음을 확인하였다.
• 오류 분석 결과, 실패 원인의 38%가 잘못된 산술 계산에 기인해 향후 작업에서 수치 추론 능력 향상의 필요성이 뚜렷이 드러났다.
• 다양한 답변 유형 전반에서 뛰어난 성능을 보였으며, 특히 이전 모델 대비 부정 및 다중 스파나 질문 처리에서 뚜렷한 향상이 있었다.
• 정성 분석 결과, MTMSN은 이전 모델이 자주 실패하는 정렬, 뺄셈, 부정을 포함한 복잡한 질문을 성공적으로 해결하였다.