[論文レビュー] Generate rather than Retrieve: Large Language Models are Strong Context Generators

Adarsh Ron|arXiv (Cornell University)|Sep 21, 2022

Topic Modeling被引用数 86

ひとこと要約

GenReadは文書検索をLLM生成の文脈文書に置換し、知識集約的なタスクのために生成された内容を読んで回答する。クラスタリングベースのプロンプトはカバー範囲を拡大し、外部ソースを使わずに強力なオープンドメインQAの結果を達成する。

ABSTRACT

Knowledge-intensive tasks, such as open-domain question answering (QA), require access to a large amount of world or domain knowledge. A common approach for knowledge-intensive tasks is to employ a retrieve-then-read pipeline that first retrieves a handful of relevant contextual documents from an external corpus such as Wikipedia and then predicts an answer conditioned on the retrieved documents. In this paper, we present a novel perspective for solving knowledge-intensive tasks by replacing document retrievers with large language model generators. We call our method generate-then-read (GenRead), which first prompts a large language model to generate contextutal documents based on a given question, and then reads the generated documents to produce the final answer. Furthermore, we propose a novel clustering-based prompting method that selects distinct prompts, resulting in the generated documents that cover different perspectives, leading to better recall over acceptable answers. We conduct extensive experiments on three different knowledge-intensive tasks, including open-domain QA, fact checking, and dialogue system. Notably, GenRead achieves 71.6 and 54.4 exact match scores on TriviaQA and WebQ, significantly outperforming the state-of-the-art retrieve-then-read pipeline DPR-FiD by +4.0 and +3.9, without retrieving any documents from any external knowledge source. Lastly, we demonstrate the model performance can be further improved by combining retrieval and generation. Our code and generated documents can be found at https://github.com/wyu97/GenRead.

研究の動機と目的

• 外部の文書取得への依存を減らすために、知識集約的なタスクの動機付けを行う。
• 文脈文書を生成し、それを読んで質問に回答する Generate-Then-Read パイプラインを提案する。
• クラスタリングベースのプロンプティングを導入して多様な生成文脈を生み出し、リコールを向上させる。
• ゼロショットおよび教師あり設定で、オープンドメインQA、事実確認、対話タスクにおけるGenReadの有効性を示す。

提案手法

• Generate-then-Read（GenRead）を提案する：与えられた質問に対して文脈文書を生成するようLLMにプロンプトをかけ、生成された文書を読んで最終回答を作成する。
• 生成された文書を条件として質問に回答するリードステップを含むゼロショット設定を用いる。
• 教師あり設定ではFiDリーダーを用い、生成文書でファインチューニングする。効率のため文書数を10件に制限する。
• クラスタリングベースのプロンプティングを導入する：初期のQ-Dペアをクラスタリングし、各クラスタからプロンプトをサンプリングして多様な生成文書を誘発する。
• 生成ベースの文脈を、取得ベースのベースライン（DPR、RAG、FiD）と比較し、生成文と取得文を組み合わせた場合に補完的な利得を示す。

実験結果

リサーチクエスチョン

• RQ1 知識集約的なタスクにおいて、LLM生成の文脈文書は外部取得を置換できるか？
• RQ2 クラスタリングベースのプロンプティングは生成された文脈の多様性とカバー範囲を広げるか？
• RQ3 QA、事実確認、対話を横断して、ゼロショットと教師あり設定でGenReadの性能はどうなるか？
• RQ4 生成文と取得文を組み合わせることで、生成文と取得文のいずれか単独のアプローチよりも性能が向上するか？

主な発見

• GenReadは TriviaQAで71.6、WebQで54.4のEMをゼロショットで達成し、外部文書なしでDPR-FiDのリトリーブ・アンド・リード既存手法を上回る。
• GenReadは複数のベンチマークでゼロショットのリトリーブ・アンド・リードモデルと同等かそれ以上の性能を示し、場合によっては外部知識源を使わずにそれらを上回る。
• クラスタリングベースのプロンプティングはサンプリングや単一プロンプトよりQA性能を向上させ、カバー範囲とEMスコアを増加させる。
• 教師あり設定ではFiD-xlを用いたGenReadは強力な結果を達成し、生成文と取得文を組み合わせると取得ベースの手法を上回ることがある。
• このアプローチは補完的な利点を示す：生成文脈を取得文と統合すると性能が向上し、単独のいずれよりも大きな利得を生むことが多い。