[논문 리뷰] Retrospective Reader for Machine Reading Comprehension

Zhuosheng Zhang, Junjie Yang외 1명|arXiv (Cornell University)|2020. 01. 27.

Topic Modeling인용 수 22

한 줄 요약

이 논문은 인간의 독서 방식을 모방하기 위해 처음에는 초라게 읽고, 그 다음에 집중적으로 읽는 두 단계의 기계적 독해 모델인 Retrospective Reader(Retro-Reader)를 제안한다. 이 모델은 SQuAD2.0과 NewsQA에서 비답변 가능 질문 탐지 능력을 크게 향상시켜 최신 기준 성능(SOTA)을 달성하며, 통계적으로 유의미한 우월성을 보인다.

ABSTRACT

Machine reading comprehension (MRC) is an AI challenge that requires machine to determine the correct answers to questions based on a given passage. MRC systems must not only answer question when necessary but also distinguish when no answer is available according to the given passage and then tactfully abstain from answering. When unanswerable questions are involved in the MRC task, an essential verification module called verifier is especially required in addition to the encoder, though the latest practice on MRC modeling still most benefits from adopting well pre-trained language models as the encoder block by only focusing on the "reading". This paper devotes itself to exploring better verifier design for the MRC task with unanswerable questions. Inspired by how humans solve reading comprehension questions, we proposed a retrospective reader (Retro-Reader) that integrates two stages of reading and verification strategies: 1) sketchy reading that briefly investigates the overall interactions of passage and question, and yield an initial judgment; 2) intensive reading that verifies the answer and gives the final prediction. The proposed reader is evaluated on two benchmark MRC challenge datasets SQuAD2.0 and NewsQA, achieving new state-of-the-art results. Significance tests show that our model is significantly better than the strong ELECTRA and ALBERT baselines. A series of analysis is also conducted to interpret the effectiveness of the proposed reader.

연구 동기 및 목표

• 기계적 독해에서 문장에 답이 존재하지 않을 경우 답변을 하지 않아야 하는 비답변 가능 질문을 탐지하는 문제에 대응하기 위해.
• 강력한 사전 훈련된 언어 모델을 인코더로 널리 사용하고 있음에도 불구하고, 아직 미비하게 다뤄진 MRC 시스템의 검증기 설계를 향상시키기 위해.
• 실제 MRC 응용에서 모델의 강건성과 정확도를 향상시키기 위해 더 효과적인 답변 검증 메커니즘을 개발하기 위해.
• 인간의 독서 전략인 초라게 읽기와 집중적으로 읽기 방식을 신경망 아키텍처로 형식화하여 MRC 성능을 향상시키는 방법을 탐색하기 위해.

제안 방법

• 모델는 두 단계 독서 전략을 사용한다: 첫째, 초라게 읽기 모듈이 문장-질문 상호작용을 간략히 분석하여 초기 답변 가능성 판단을 생성한다.
• 둘째, 집중적으로 읽기 모듈이 보다 정교한 주의 메커니즘을 사용해 문장과 질문을 재검토함으로써 후보 답변을 검증한다.
• 초라게 읽기 및 집중적으로 읽기 모듈은 병렬로 구현된 트랜스포저 기반 인코더이며, 각각 다른 훈련 목표를 가진다: 하나는 스파니드 예측, 다른 하나는 답변 가능성 분류.
• 최종 예측은 두 모듈의 출력을 조합하여 이루어지며, 집중적으로 읽기 모듈이 초라게 읽기 모듈의 初기 결정을 보완한다.
• 기본 인코더로 사전 훈련된 언어 모델(예: ALBERT)을 사용하며, 답변 스팬 예측 및 답변 가능성 검증을 위한 작업별 헤드를 갖춘다.
• 검증기 구성 요소는 답변 스팬 정확도와 답변 가능성 탐지 모두를 동시에 최적화하는 이중 목표 손실 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 초라게 읽기와 집중적으로 읽기로 구성된 이중 단계 독서 전략이, 특히 비답변 가능 질문에 대해 기계적 독해 성능을 향상시킬 수 있는가?
• RQ2 강력한 사전 훈련된 언어 모델을 사용하는 MRC 모델에서 전용 검증 모듈을 통합하면 성능에 어떤 영향을 미치는가?
• RQ3 인간의 독서 패턴을 모방한 전략이 기존의 파ip라인 또는 연결 기반 검증 설계에 비해 더 나은 일반화 및 강건성을 제공하는가?
• RQ4 제안된 방법은 답변 가능 질문 성능을 손상시키지 않고 답변 가능성 탐지 능력을 얼마나 향상시키는가?

주요 결과

• Retrospective Reader는 SQuAD2.0에서 최신 기준 성능을 달성하여 정확도 매칭(EM) 87.8%와 F1 점수 90.9%를 기록하며 강력한 ALBERT 기준 모델을 압도한다.
• NewsQA 데이터셋에서는 EM 57.1%와 F1 67.5%를 기록하여 강력한 기준 모델에 비해 일관된 성능 향상을 보였다.
• 통계적 유의성 검정을 통해 강력한 기준 모델에 비해 성능 향상이 유의미하다고 확인되어, 이 방법의 강건성과 신뢰성을 입증했다.
• 유사한 파rameter 수를 가진 두 개의 동일한 기준 모델 앙상블보다도 성능이 뛰어나, 성능 향상은 모델 용량 증가 때문이 아니라 아키텍처 혁신에서 기인한다는 것을 증명했다.
• 비답변 가능 질문에서 환각 현상을 효과적으로 줄였다: ALBERT 기준 모델은 잘못된 'Great Lakes Megalopolis and the Northeastern megalopolis'를 답변으로 예측했지만, Retro-Reader는 정확히 'no answer'로 예측했다.
• 제거 실험 결과, 답변 검증 기능이 성능 향상에 크게 기여하는 것으로 나타났으며, 단순히 더 많은 레이어나 파라미터를 추가하는 것보다는 최소한의 성능 향상에 그친다.