[논문 리뷰] End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering

Devendra Singh Sachan, Siva Reddy외 3명|arXiv (Cornell University)|2021. 06. 09.

Topic Modeling인용 수 45

한 줄 요약

본 논문은 EMDR2를 제안한다, 검색된 문서 세트를 잠재 변수로 모델링하고 EM에서 영감을 얻은 학습 루프를 사용하여 오픈 도메인 QA를 위한 다문서 리더와 리트리버를 함께 학습하는 엔드-투-엔드 미분 가능 프레임워크.

ABSTRACT

We present an end-to-end differentiable training method for retrieval-augmented open-domain question answering systems that combine information from multiple retrieved documents when generating answers. We model retrieval decisions as latent variables over sets of relevant documents. Since marginalizing over sets of retrieved documents is computationally hard, we approximate this using an expectation-maximization algorithm. We iteratively estimate the value of our latent variable (the set of relevant documents for a given question) and then use this estimate to update the retriever and reader parameters. We hypothesize that such end-to-end training allows training signals to flow to the reader and then to the retriever better than staged-wise training. This results in a retriever that is able to select more relevant documents for a question and a reader that is trained on more accurate documents to generate an answer. Experiments on three benchmark datasets demonstrate that our proposed method outperforms all existing approaches of comparable size by 2-3% absolute exact match points, achieving new state-of-the-art results. Our results also demonstrate the feasibility of learning to retrieve to improve answer generation without explicit supervision of retrieval decisions.

연구 동기 및 목표

• 다수의 문서를 활용하는 검색 보강 오픈 도메인 QA를 위한 엔드투엔드 학습의 필요성을 제시한다.
• 신경망 검색기와 신경망 독자를 함께 학습시키는 EM 기반 프레임워크를 제안한다.
• 엔드투엔드 학습이 단계적 학습보다 문서 선택 및 정답 품질에서 더 우수한 결과를 낳는다는 것을 보인다.
• 비슷한 모델 크기에서 Natural Questions, TriviaQA, WebQuestions에 대해 최첨단 성과를 입증한다.

제안 방법

• 질문에 대해 상위 K개 문서를 선택하기 위해 듀얼 인코더 검색기를 사용한다.
• 다중 검색 문서로부터 정답을 생성하기 위해 Fusion-in-Decoder(FiD)를 다문서 독자로 채택한다.
• 엔드투엔드 학습을 문서 집합 Z에 대한 잠재 변수 학습으로 형상화하고 EM 유사 목표를 적용한다.
• 독자-관련 잠재 집합 Z_reader를 사전 점수로부터 추정하고 검색기-관련 잠재 집합 Z_retriever를 사후 유사 목표로부터 추정한다.
• 읽기기에 대해 p(a|q,Z_topK;Θ)를 결합하고 검색기에 대해 Σ_k p(a|q,z_k;Θ) p(z_k|q;Φ)의 계산 가능한 근사를 사용하는 실용적 목표를 계산한다.
• 일부 단계에서 독자 신호가 검색기 업데이트로 누설되는 것을 방지하고 공동 학습을 안정화하기 위해 stop-gradient 연산자를 활용한다.

실험 결과

연구 질문

• RQ1 다문서 검색기-독자 시스템의 엔드투엔드 학습이 단계적 학습과 비교하여 오픈 도메인 QA 성능을 향상시킬 수 있는가?
• RQ2 검색된 문서 집합을 잠재 변수로 모델링하고 EM에서 영감을 받은 업데이트를 사용하는 것이 더 나은 문서 선택과 정답 품질을 내는가?
• RQ3 제안된 EMDR2 프레임워크가 표준 OpenQA 벤치마크(NQ, TriviaQA, WebQuestions)에서 어떻게 성능을 보이는가?
• RQ4 비지도 학습 전처리를 포함한 검색기 초기화에 대해 접근법이 견고한가?
• RQ5 검색된 문서의 수와 초기화 전략이 성능에 미치는 영향은 무엇인가?

주요 결과

• EMDR2는 비슷한 크기의 모델에서 Natural Questions, TriviaQA, WebQuestions에 대해 새로운 최첨단 exact-match 결과를 달성한다.
• 잠재 세트 검색 신호를 포함한 엔드투엔드 학습이 동일 아키텍처의 FiD 기반 기준선보다 더 좋은 성능을 보인다.
• EMDR2는 비지도 검색기 초기화에 견고하며 여전히 강력한 결과를 달성하여 감독된 검색기 사전 학습에 대한 의존도를 줄인다.
• 엔드투엔드 학습으로 50개의 검색 문서를 사용할 때, 동일한 문서를 사용하되 비엔드투엔드 학습 구성을 사용하는 경우보다 성능이 우수하여 공동 최적화의 이점을 강조한다.
• FiD-KD와 비교했을 때, EMDR2는 더 높은 EM 점수를 제공하고 더 적은 문서와 학습 사이클이 필요하여 효율성과 견고성을 제공한다.
• 추가 분석은 검색 목표와 엔드투드 EM 유사 업데이트가 성능 향상에 기여하는 반면, 일부 대안은 발산하거나 저성능일 수 있음을 보여준다.