[논문 리뷰] Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension

Minghao Hu, Yuxing Peng외 2명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 검색, 독해 및 답변 재정렬을 하나의 네트워크에서 공유된 맥락 기반 표현을 사용해 통합하는 종단간 다중문서 추론 질문 응답 모델인 RE3 QA를 제안한다. 모든 구성 요소를 함께 훈련하고 상游 출력을 하위 구성 요소의 지도 학습에 활용함으로써, TriviaQA 및 SQuAD 변형에서 최고 성능을 달성하면서 추론 효율성을 향상시키고 맥락 일관성 문제를 완화한다.

ABSTRACT

This paper considers the reading comprehension task in which multiple documents are given as input. Prior work has shown that a pipeline of retriever, reader, and reranker can improve the overall performance. However, the pipeline system is inefficient since the input is re-encoded within each module, and is unable to leverage upstream components to help downstream training. In this work, we present RE$^3$QA, a unified question answering model that combines context retrieving, reading comprehension, and answer reranking to predict the final answer. Unlike previous pipelined approaches, RE$^3$QA shares contextualized text representation across different components, and is carefully designed to use high-quality upstream outputs (e.g., retrieved context or candidate answers) for directly supervising downstream modules (e.g., the reader or the reranker). As a result, the whole network can be trained end-to-end to avoid the context inconsistency problem. Experiments show that our model outperforms the pipelined baseline and achieves state-of-the-art results on two versions of TriviaQA and two variants of SQuAD.

연구 동기 및 목표

• 상游 구성 요소가 별도로 훈련되는 파이프라인 기반 다중문서 독해 시스템에서 맥락 일관성 문제를 해결하기 위해.
• 각기 다른 모듈 간 중복된 입력 재인코딩을 제거함으로써 추론 효율성을 향상시키기 위해.
• 고품질의 상游 출력(예: 검색된 문단)이 하위 구성 요소(예: 독해기, 재정렬기)를 직접 지도 학습할 수 있도록 하여 모델 성능을 향상시키기 위해.
• 종단간 훈련과 파rameter 공유를 통해 TriviaQA 및 SQuAD 기반 다중문서 QA 벤치마크에서 최고 성능을 달성하기 위해.
• 공유된 표현을 사용한 통합 훈련이 정확도와 속도 측면에서 파이프라인 기반 베이스라인을 능가함을 보여주기 위해.

제안 방법

• 모델은 입력 텍스트 세그먼트를 인코딩하기 위해 공유된 사전 훈련된 트랜스포머 블록을 사용하며, 초기 블록은 관련 맥락을 검색하는 데 전용으로 할당되고, 후속 블록은 답변 예측에 사용된다.
• 검색기 구성 요소는 계산 비용을 줄이기 위해 조기 정지된 순전파를 사용하여 검색 점수를 생성한다.
• 독해기 구성 요소는 공유된 맥락 기반 표현을 기반으로 상위-k 검색된 세그먼트에서 스파니시드 예측 헤드를 사용해 다수의 후보 답변을 생성한다.
• 독해기 구성 요소에 대해 원거리에서 지도 학습 전략을 적용하여, 답변 재정렬기로부터의 하드 레이블 및 소프트 레이블을 사용해 지도 품질을 향상시킨다.
• 답변 재정렬기는 공유 인코더에서 생성된 스팬 수준의 표현을 사용해 후보 답변을 재평가하며, 겹치는 후보를 제거하기 위해 비최대 억제(NMS)를 적용한다.
• 최종 예측은 검색, 독해 및 재정렬 점수의 조합을 통해 이루어지며, 전체 파이프라인의 종단간 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 종단간 모델이 검색, 독해 및 재정렬 구성 요소를 함께 훈련함으로써 파이프라인 기반 시스템을 능가할 수 있는가?
• RQ2 구성 요소 간 맥락 기반 표현을 공유함으로써 모델 효율성 향상과 맥락 일관성 감소가 이루어지는가?
• RQ3 고품질의 상위 출력(예: 신경 검색기 결과)이 직접 지도 학습에 사용될 경우, 하위 독해기 및 재정렬기 성능 향상에 어느 정도 기여하는가?
• RQ4 조기 정지된 검색기 설계는 검색 효과성과 추론 속도 사이의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 재정렬기, 검색기 및 독해기 구성 요소 중 어느 것이 전체 모델 성능에 가장 기여하는가?

주요 결과

• RE3 QA는 TriviaQA-Wikipedia에서 75.2 F1, TriviaQA-unfiltered에서 71.2 F1을 기록하여 이전 최고 성능 모델을 능가한다.
• SQuAD-document에서는 이전 최고 성능 대비 14.8 점의 절대 F1 향상을 달성했으며, SQuAD-open에서는 4.1 점의 절대 F1 향상을 기록했다.
• TriviaQA-Wikipedia에서는 BERT 기반 파이프라인 베이스라인 대비 2.3배 빠르게 추론되었고, SQuAD-document에서는 2.1배 빠르게 추론되었다.
• 답변 재정렬기 제거 시 TriviaQA-Wikipedia에서 F1이 2.8점, SQuAD-document에서 0.8점 감소하여 재정렬기의 핵심적 역할을 입증했다.
• 검색기 제거(대체로 TF-IDF 사용) 시 F1이 3.3점과 2.5점 감소하여 효과적인 맥락 선택에 검색기의 중요성을 확인했다.
• 제거 실험 결과, TriviaQA에서는 하드 레이블이 소프트 레이블보다 더 큰 영향을 미치는 것으로 나타났고, SQuAD에서는 소프트 레이블의 영향력이 더 크다는 점을 통해 데이터셋에 따라 지도 학습의 역학이 다름을 시사했다.