[論文レビュー] Dense X Retrieval: What Retrieval Granularity Should We Use?

Tong Chen, Hongwei Wang+6 more|arXiv (Cornell University)|Dec 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、自己完結的で原子的なfactoid文の集合としての命題を、密度的検索における検索単位として使用することを提案し、従来のパラグラフまたは文レベルの検索と比較して、検索精度および下流のオープンドメインQA性能が顕著に向上することを示している。主な貢献は、英語Wikipediaの2億5千万個の命題から構成されるFactoidWikiと呼ばれるインデックスであり、これにより文脈長が短く抑えられながらも、情報密度の高い検索が可能になる。

ABSTRACT

Dense retrieval has become a prominent method to obtain relevant context or world knowledge in open-domain NLP tasks. When we use a learned dense retriever on a retrieval corpus at inference time, an often-overlooked design choice is the retrieval unit in which the corpus is indexed, e.g. document, passage, or sentence. We discover that the retrieval unit choice significantly impacts the performance of both retrieval and downstream tasks. Distinct from the typical approach of using passages or sentences, we introduce a novel retrieval unit, proposition, for dense retrieval. Propositions are defined as atomic expressions within text, each encapsulating a distinct factoid and presented in a concise, self-contained natural language format. We conduct an empirical comparison of different retrieval granularity. Our experiments reveal that indexing a corpus by fine-grained units such as propositions significantly outperforms passage-level units in retrieval tasks. Moreover, constructing prompts with fine-grained retrieved units for retrieval-augmented language models improves the performance of downstream QA tasks given a specific computation budget.

研究の動機と目的

• 検索の粒度が密度的検索および下流のQA性能に与える影響を調査すること。
• 粗い（パラグラフ）およびあまりに細かい（文）な検索単位の限界を解決すること。前者は不要な文脈を含み、後者は自己完備性に欠ける。
• 密度的検索のための新しい原子的・自己完備的な検索単位としての命題を提案・評価すること。
• 固定された文脈予算のもとで、Wikipediaを命題レベルでインデックス化することで、検索精度および下流のQA性能が向上することを実証すること。
• 将来的な研究のためのリソースとして、FactoidWikiを公開すること。

提案手法

• 微調整を施した小型言語モデルを用いて、英語Wikipediaを命題に分割する。
• 600万件のWikipediaページから得られた2億5千万個の命題から構成される、FactoidWikiと呼ばれるコーパスを作成する。
• 3つの粒度でコーパスをインデックス化する：パラグラフ（100語のチャンク）、文、命題。
• 同じ検索モデルと固定された文脈予算を用いて、6種類のデュアルエンコーダー密度的検索モデル（例：Contriever、GTR）を用いて、検索および下流のQAタスクを評価する。
• 標準的な指標を用いて性能を測定する：5つのオープンドメインQAベンチマークにおける検索Recall@10および回答F1。
• 公平な比較を確保するため、検索結果のトークン数を固定し、入力長を最小限に抑えつつ、関連情報の密度を最大化する。

Figure 2: We discover that segmenting and indexing a retrieval corpus on the proposition level can be a simple yet effective strategy to increase dense retrievers’ generalization performance at inference time (A, B) . We empirically compare the retrieval and downstream open-domain QA tasks performan

実験結果

リサーチクエスチョン

• RQ1 パラグラフ、文、命題といった異なる検索粒度が、密度的検索性能に与える影響は何か？
• RQ2 従来の単位と比較して、命題レベルでのインデックス化が検索精度および下流のQA性能を向上させられるか？
• RQ3 情報密度を高めることで、命題ベースの検索は長大な入力シーケンスの必要性を軽減できるか？
• RQ4 同じモデルを異なるインデックス粒度に適用した場合、密度的検索モデルの性能はどのように変化するか？
• RQ5 命題ベースの検索は、多様なオープンドメインQAデータセットに一般化可能か？

主な発見

• 5つのオープンドメインQAベンチマークすべてにおいて、命題ベースの検索はパラグラフおよび文レベルの検索を上回り、検索Recall@10および下流のQA F1の両方で優れた性能を示した。
• Natural QuestionsおよびTriviaQAベンチマークでは、同じ検索モデルと文脈予算を用いた場合、命題ベースの検索がパラグラフレベルの検索と比較して最大8.5%高いF1を達成した。
• 命題の使用により、パラグラフ検索と比較して平均して40〜50%の入力長が短縮されたが、同時に回答の正確性は維持または向上させた。
• 英語Wikipediaの2億5千万個の命題から構成されるFactoidWikiは、正常に構築され、将来的な研究のためのリソースとして公開された。
• 6種類の異なる密度的検索モデルすべてにおいて、命題レベルの検索による性能向上が一貫して観察されたため、このアプローチはモデルアーキテクチャに依存せず、強固であることが示された。
• 命題ベースの検索により、不要な詳細（例：復興期、移住データ）の混入が最小限に抑えられ、下流モデルにクリアで焦点の当たった入力を供給した。

Figure 3: Document retrieval recall vs. the popularity of the target entity in each question from the EntityQuestions dataset. The popularity of each entity (i.e. smaller value $\Rightarrow$ less common entities, and vice versa) is estimated by the occurrence of the entity in its top-1000 passage re