[논문 리뷰] Improving Passage Retrieval with Zero-Shot Question Generation

Devendra Singh Sachan, Michael Lewis외 5명|arXiv (Cornell University)|2022. 04. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 사용하여 각 문단에서 입력 질문을 생성할 가능성에 기반해 문단 점수를 매기는, 피드백 없이도 작동하는 비지도 재정렬 기법인 Unsupervised Passage Re-ranking(UPR)을 제안한다. 미세조정이나 레이블이 없는 상태에서 UPR은 비지도 검색기보다 상위 20개 검색 정확도를 6%-18% 향상시키며, 개방형 QA 벤치마크에서 새로운 최고 성능을 달성한다.

ABSTRACT

We propose a simple and effective re-ranking method for improving passage retrieval in open question answering. The re-ranker re-scores retrieved passages with a zero-shot question generation model, which uses a pre-trained language model to compute the probability of the input question conditioned on a retrieved passage. This approach can be applied on top of any retrieval method (e.g. neural or keyword-based), does not require any domain- or task-specific training (and therefore is expected to generalize better to data distribution shifts), and provides rich cross-attention between query and passage (i.e. it must explain every token in the question). When evaluated on a number of open-domain retrieval datasets, our re-ranker improves strong unsupervised retrieval models by 6%-18% absolute and strong supervised models by up to 12% in terms of top-20 passage retrieval accuracy. We also obtain new state-of-the-art results on full open-domain question answering by simply adding the new re-ranker to existing models with no further changes.

연구 동기 및 목표

• 작업에 특화된 훈련 데이터나 미세조정이 필요 없이 개방형 문단 검색을 향상시키는 것.
• 사전 훈련된 언어 모델만을 사용하여 질의와 문단 토큰 간의 깊은 교차 attention을 가능하게 하는 재정렬기 개발.
• 사전 훈련된 독자 모델과 재정렬된 문단을 사용하여 추론만으로도 개방형 질문-답변에서 최고 성능을 달성하는 것.
• 비지도 파ip라인으로도 DPR와 같은 강력한 지도 학습 기반의 밀도 검색 모델을 능가할 수 있음을 보여주는 것.
• 다양한 검색기, 언어 모델, 데이터셋에서 제로샷 재정렬의 일반화 및 강건성 탐색.

제안 방법

• 재정렬기는 사전 훈련된 언어 모델을 사용해 조건부 확률 p(질문 | 문단)를 계산하며, 관련성의 대체 지표로 질문 생성을 활용한다.
• 이 점수 계산은 작업에 특화된 미세조정이나 레이블 예제 없이 제로샷 방식으로 적용된다.
• 이 방법은 스퍼스(예: BM25) 및 디퍼스(예: DPR) 검색기와 같은 모든 검색 시스템과 호환된다.
• 질의와 문단 토큰 간의 교차 어텐션을 활용하여 질문의 모든 토큰을 고려하도록 모델을 강제한다.
• T0와 같은 지시 프롬프트 튜닝된 언어 모델을 사용해 성능을 향상시키며, '다음 문단를 바탕으로 그것이 답할 수 있는 질문을 생성하시오.'와 같은 프롬프트를 활용한다.
• 재정렬은 상위-K 개의 문단을 검색한 후에 적용되며, 질문 생성 가능성 점수에 따라 재정렬된다.

실험 결과

연구 질문

• RQ1 작업에 특화된 미세조정 없이도 제로샷 질문 생성 모델이 검색된 문단을 효과적으로 재정렬할 수 있는가?
• RQ2 사전 훈련된 언어 모델을 사용해 질문의 가능성 확률을 계산하면 다양한 데이터셋과 검색기에서 검색 정확도 향상이 이루어지는가?
• RQ3 비지도 재정렬 방법이 DPR와 같은 지도 학습 기반의 밀도 검색 모델을 능가할 수 있는가?
• RQ4 사전 훈련된 언어 모델의 선택(예: 지시 프롬프트 튜닝된 vs. 비지시 프롬프트 튜닝된)이 재정렬 성능에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 독자 모델과 함께 사용할 경우, 재정렬기가 종합적인 개방형 질문-답변 성능 향상에 얼마나 기여하는가?

주요 결과

• Contriever와 같은 비지도 검색기를 사용해 상위 1000개의 문단을 검색한 후 UPR을 적용하면, 상위 20개 검색 정확도가 6%-18% 절대적으로 향상된다.
• SQuAD-Open 및 Entity Questions 데이터셋에서 UPR은 각각 BM25보다 상위 20개 정확도에서 14%와 8% 향상되었다.
• 단순히 문단을 재정렬하고 사전 훈련된 독자 모델을 사용함으로써 UPR은 개방형 QA에서 새로운 최고 성능을 달성했으며, EM 점수를 최대 3점 향상시켰다.
• 강력한 지도 학습 기반 검색기인 DPR의 경우 상위 20개 검색 정확도를 최대 12% 향상시켰다.
• 지시 프롬프트 튜닝된 모델(예: T0)이 재정렬기로 가장 우수한 성능을 보였으며, 제로샷 환경에서 프롬프트 엔지니어링의 중요성을 입증했다.
• 성능 향상 효과는 스퍼스 및 디퍼스 검색기, 다양한 사전 훈련된 언어 모델 간에서 일관되게 유지되어 강력한 일반화 능력을 보였다.