[논문 리뷰] Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering

Rajarshi Das, Shehzaad Dhuliawala외 2명|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling인용 수 35

한 줄 요약

오픈 도메인 QA 프레임워크를 소개하며, 빠른 리트리버와 신경망 리더가 다단계 추론기를 통해 상호 작용하여 여러 문단에 걸친 검색 및 집계를 개선합니다.

ABSTRACT

This paper introduces a new framework for open-domain question answering in which the retriever and the reader iteratively interact with each other. The framework is agnostic to the architecture of the machine reading model, only requiring access to the token-level hidden representations of the reader. The retriever uses fast nearest neighbor search to scale to corpora containing millions of paragraphs. A gated recurrent unit updates the query at each step conditioned on the state of the reader and the reformulated query is used to re-rank the paragraphs by the retriever. We conduct analysis and show that iterative interaction helps in retrieving informative paragraphs from the corpus. Finally, we show that our multi-step-reasoning framework brings consistent improvement when applied to two widely used reader architectures DrQA and BiDAF on various large open-domain datasets --- TriviaQA-unfiltered, QuasarT, SearchQA, and SQuAD-Open.

연구 동기 및 목표

• 빠른 검색과 대화형 읽기를 통한 확장 가능한 오픈 도메인 QA의 동기를 제시한다.
• 다단계 추론기(Multi-step-reasoner)를 포함한 세 구성 요소 아키텍처(리트리버, 리더, 다단계 추론기)가 반복적인 질의 재정의를 가능하게 함을 제시한다.
• DrQA 및 BiDAF 리더에 적용하여 아키텍처-에 구애받지 않는 성능 향상을 대규모 데이터셋에서 시연한다.

제안 방법

• 문단 표현은 사전에 계산되고 캐시되어 확장 가능한 빠른 내부 곱 검색을 가능하게 한다.
• 리트리버는 질의 벡터와 미리 계산된 문단 벡터 간의 내부 곱으로 상위 k 문단의 순위를 매긴다.
• 리더(DrQA 또는 BiDAF)는 상위 k 문단을 처리하여 답변 구간을 추출하고 리더 상태를 생성한다.
• 다단계 추론기, 게이트드 순환유닛은 리더 상태를 사용하여 질의 벡터를 업데이트하고 새로운 문단을 재랭크/탐색한다(상호 작용 반복).
• 훈련은 다단계 추론기의 독해 수행을 개선하기 위한 강화 학습을 사용한다; 리더는 지도 학습으로 사전 학습되며, 다단계 추론기는 정책 그래디언트로 미세 조정된다.

실험 결과

연구 질문

• RQ1 리트리버와 리더 간의 반복적 상호 작용이 큰 말뭉치에서의 오픈 도메인 QA 성능을 향상시키는가?
• RQ2 다단계 추론기를 통한 질의 재정의가 여러 문단의 증거를 집계하는 데 도움이 되는가?
• RQ3 이 접근법이 기반 리더 모델에 대해 아키텍처-에 구애받지 않는가?
• RQ4 프레임워크가 수백만 개의 문단과 대규모 오픈 도메인 데이터셋에 어떻게 확장되는가?

주요 결과

• 다단계 추론기를 통한 반복적 상호 작용은 DrQA 및 BiDAF 리더에서 4개의 오픈 도메인 QA 데이터셋에 걸쳐 일관된 성능 향상을 제공합니다.
• 다단계 접근은 초기 리트리버 이후 여러 단계에서 더 높은 P@k를 달성하여 검색 품질을 향상시킵니다.
• TriviaQA-open에서 질의당 1.6M 문단일 때, 베이스라인 DrQA(상호 작용 없음)는 EM 37.45, F1 42.16이고, 3단 상호 작용 단계에서는 EM 39.76, F1 44.30에 도달합니다.
• Quasar-T, SearchQA, TriviaQA-open, Squad-open 전반에 걸쳐 다단계-추론자 기반 모델이 여러 베이스라인보다 더 높은 EM 및 F1를 달성하며 DrQA 베이스라인 대비 큰 향상을 보입니다.
• 다단계 상호 작용을 갖춘 리트리버는 내부 곱 검색과 SGTree를 사용해 수백만 문단으로 확장 가능하며, GPU/CPU에서의 확장성을 유지하고 일부 더 크고 비용이 큰 베이스라인보다 검색 시간 측면에서 우수합니다.