[논문 리뷰] Generate rather than Retrieve: Large Language Models are Strong Context Generators

Adarsh Ron|arXiv (Cornell University)|2022. 09. 21.

Topic Modeling인용 수 86

한 줄 요약

GenRead는 문서 검색을 LLM이 생성한 맥락 문서로 대체한 다음 생성된 내용을 읽어 답합니다; 군집화 기반 프롬프팅은 커버리지를 높이고 외부 소스 없이도 강력한 오픈 도메인 QA 결과를 달성합니다.

ABSTRACT

Knowledge-intensive tasks, such as open-domain question answering (QA), require access to a large amount of world or domain knowledge. A common approach for knowledge-intensive tasks is to employ a retrieve-then-read pipeline that first retrieves a handful of relevant contextual documents from an external corpus such as Wikipedia and then predicts an answer conditioned on the retrieved documents. In this paper, we present a novel perspective for solving knowledge-intensive tasks by replacing document retrievers with large language model generators. We call our method generate-then-read (GenRead), which first prompts a large language model to generate contextutal documents based on a given question, and then reads the generated documents to produce the final answer. Furthermore, we propose a novel clustering-based prompting method that selects distinct prompts, resulting in the generated documents that cover different perspectives, leading to better recall over acceptable answers. We conduct extensive experiments on three different knowledge-intensive tasks, including open-domain QA, fact checking, and dialogue system. Notably, GenRead achieves 71.6 and 54.4 exact match scores on TriviaQA and WebQ, significantly outperforming the state-of-the-art retrieve-then-read pipeline DPR-FiD by +4.0 and +3.9, without retrieving any documents from any external knowledge source. Lastly, we demonstrate the model performance can be further improved by combining retrieval and generation. Our code and generated documents can be found at https://github.com/wyu97/GenRead.

연구 동기 및 목표

• 외부 문서 검색에 대한 의존도를 줄이기 위해 지식 집중형 작업을 촉진한다.
• 맥락 문서를 생성한 뒤 이를 읽어 질문에 답하는 generate-then-read 파이프라인을 제안한다.
• 다양한 생성 맥락을 만들어 재현율을 높이기 위해 clustering 기반 프롬프팅을 도입한다.
• 제로샷 및 감독 학습 설정에서 오픈 도메인 QA, 사실 확인, 대화 과제에서 GenRead의 효과를 입증한다.

제안 방법

• generate-then-read (GenRead)을 제안한다: 주어진 질문에 대해 맥락 문서를 생성하도록 LLM을 프롬프트한 뒤, 생성된 문서를 읽어 최종 답을 도출한다.
• 생성된 문서를 조건으로 삼아 질문에 답하는 읽기 단계를 포함한 제로샷 설정을 사용한다.
• 감독 설정에서는 FiD 리더를 활용하고 생성 문서를 이용해 fine-tune하며, 효율성을 위해 문서 수를 10개로 제한한다.
• 클러스터링 기반 프롬프팅을 도입한다: 초기 Q-D 쌍을 클러스터링하고 각 클러스터에서 프롬프트를 샘플링해 다양한 생성 문서를 유도한다.
• 생성 기반 맥락과 검색 기반 기준선(DPR, RAG, FiD)을 비교하고 생성된 문서와 검색된 문서를 결합할 때 보완적 이득을 보임을 보인다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 맥락 문서가 지식 집약형 작업에서 외부 검색을 대체할 수 있는가?
• RQ2 클러스터링 기반 프롬프팅이 생성 맥락의 다양성과 커버리지를 늘리는가?
• RQ3 제로샷과 감독 학습 설정에서 QA, 사실 확인, 대화 전반에 대해 GenRead의 성능은 어떤가?
• RQ4 생성 문서와 검색 문서를 결합하는 것이 각 방법만 사용할 때보다 더 나은 성능을 보이는가?

주요 결과

• GenRead는 제로샷에서 TriviaQA에서 71.6, WebQ에서 54.4의 Exact Match (EM)을 달성하여 외부 문서 없이 DPR-FiD 기반의 검색-후 읽기 기준선을 능가한다.
• GenRead는 여러 벤치마크에서 제로샷 검색-후 읽기 모델과 동등하거나 우수하며, 일부 경우 외부 지식원 없이도 그들을 능가한다.
• 클러스터링 기반 프롬프팅은 샘플링이나 단일 프롬프트보다 QA 성능을 향상시키고 커버리지 및 EM 점수를 높인다.
• 감독 설정에서 FiD-xl과 함께하는 GenRead가 강력한 결과를 달성하고 생성 및 검색 문서를 결합할 때 검색 기반 방법보다 우수한 성능을 낼 수 있다.
• 생성 맥락은 검색된 문서와 결합할 때 성능을 높일 수 있으며, 종종 어느 하나의 방식만 사용할 때보다 더 큰 이득을 얻는다는 보완 효과를 보여준다.