[논문 리뷰] Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

Gautier Izacard, Édouard Grave|arXiv (Cornell University)|2020. 07. 02.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 질문과 다수의 검색된 위키백과 문서를 조건으로 하는 시퀀스-투-시퀀스 모델을 사용하여 개방형 도메인 질의 응답을 위한 검색 보강형 생성 접근법을 제안한다. 이 방법은 NaturalQuestions 및 TriviaQA에서 최신 기술 수준의 성능을 달성하며, 검색된 문서 수가 증가할수록 성능이 크게 향상되어 다중 문서 증거 통합에 있어 생성 모델의 효과성을 입증한다.

ABSTRACT

Generative models for open domain question answering have proven to be competitive, without resorting to external knowledge. While promising, this approach requires to use models with billions of parameters, which are expensive to train and query. In this paper, we investigate how much these models can benefit from retrieving text passages, potentially containing evidence. We obtain state-of-the-art results on the Natural Questions and TriviaQA open benchmarks. Interestingly, we observe that the performance of this method significantly improves when increasing the number of retrieved passages. This is evidence that generative models are good at aggregating and combining evidence from multiple passages.

연구 동기 및 목표

• 대규모 생성 모델이 외부 지식을 문서 검색을 통해 활용함으로써 개방형 도메인 질의 응답에 유리한지 조사하기 위해.
• 100억 파ram터 모델의 훈련 및 쿼리 시 계산 비용이 높은 문제를 외부 검색을 통합하여 해결하기 위해.
• 다수의 검색된 문서에서 증거를 통합하는 데 있어 시퀀스-투-시퀀스 모델의 효과를 평가하기 위해.
• 표준 벤치마크에서 검색 보강형 생성 모델의 성능을 추출형 및 닫힌 책 생성 기반 모델과 비교하기 위해.

제안 방법

• 데이터셋에 따라 BM25 또는 밀도 기반 검색(DPR)을 사용하여 위키백과에서 최대 100개의 문서를 검색한다.
• 微조정된 T5 기반의 시퀀스-투-시퀀스 모델이 질문과 검색된 문서를 조건으로 하여 답변을 생성한다.
• 문서는 250개의 워드피ece로 잘라내어 생성 모델의 입력 토큰으로 연결한다.
• Adam을 사용하여 훈련하며, 일정 학습률 10^-4와 10% 드롭아웃을 적용하고, 배치 크기가 64인 상태에서 10,000 스텝 동안 훈련한다.
• 추론 시에는 탐색 기반 디코딩을 사용하여 답변을 생성하고, 결과는 소문자로 변환하고 문장 부호 및 여유 공백을 제거하여 정규화한다.
• NaturalQuestions, TriviaQA, SQuAD에서 평가하며, 훈련 및 추론 시 문서 수에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 개방형 도메인 질의 응답을 위한 생성 모델이 위키백과에서 외부 증거를 검색함으로써 성능 향상을 이룰 수 있는가?
• RQ2 검색된 문서 수가 다중 문서 QA에서 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다수의 검색된 문서를 융합하는 방식이 추출형 모델에 비해 더 나은 증거 통합을 이끌어내는가?
• RQ4 적은 수의 문서로 훈련하고 100개의 문서로 미세조정하면 계산 비용을 줄일 수 있을까, 동시에 높은 정확도를 유지할 수 있는가?
• RQ5 정확도와 확장성 측면에서 검색 보강형 생성 모델은 닫힌 책 생성 모델 및 추출형 방법보다 어떻게 비교되는가?

주요 결과

• Fusion-in-Decoder 방법은 NaturalQuestions 검증 세트에서 최신 기술 수준의 46.5% Exact Match를 달성하여 추출형 및 닫힌 책 생성 모델을 모두 능가한다.
• TriviaQA에서는 64.7% Exact Match를 기록하여 도전적인 개방형 벤치마크에서 뛰어난 성능을 보였다.
• 검색된 문서 수를 10개에서 100개로 늘일 경우, TriviaQA에서 6%p, NaturalQuestions에서 3.5%p 성능 향상이 이루어졌다.
• 25개의 문서로만 훈련하고 100개의 문서로 미세조정함으로써 NaturalQuestions에서 46.0% EM을 유지하면서 GPU 훈련 시간을 425시간에서 147시간으로 줄였다.
• 더 많은 문서가 제공될수록 성능이 계속 향상되며, 이는 추출형 모델가 10~20개 문서에서 성능이 정체되는 것과는 대조적으로 다중 문서 증거 통합 능력이 뛰어나다는 것을 시사한다.
• 외부 메모리가 파ram터 확장보다 더 효율적임을 보여주며, 770M 파라미터와 위키백과 검색을 사용한 검색 보강형 접근법은 NaturalQuestions에서 44.1% EM을 달성했고, 11B 파라미터의 닫힌 책 T5 모델의 36.6% EM보다 높았다.