[論文レビュー] DynamicRetriever: A Pre-training Model-based IR System with Neither Sparse nor Dense Index

Yujia Zhou, Jing Yao+3 more|arXiv (Cornell University)|Mar 1, 2022

Information Retrieval and Search Behavior被引用数 10

ひとこと要約

DynamicRetrieverは、スパースインデックスとディンスインデックスの両方を統一された言語モデルに置き換える、新しい事前学習モデルに基づく情報検索システムを提案する。このモデルは、DocIDデコーダーを介してクエリに対して直接文書IDを生成する。MS MARCOにおいて最先端の性能を達成し、スパースまたはディンスインデックスを用いない状態で、MRRで最大26%の向上を示しており、明示的なインデックス構造を用いないモデル学習による文書インデックスの有効性を実証している。

ABSTRACT

Web search provides a promising way for people to obtain information and has been extensively studied. With the surgence of deep learning and large-scale pre-training techniques, various neural information retrieval models are proposed and they have demonstrated the power for improving search (especially, the ranking) quality. All these existing search methods follow a common paradigm, i.e. index-retrieve-rerank, where they first build an index of all documents based on document terms (i.e., sparse inverted index) or representation vectors (i.e., dense vector index), then retrieve and rerank retrieved documents based on similarity between the query and documents via ranking models. In this paper, we explore a new paradigm of information retrieval with neither sparse nor dense index but only a model. Specifically, we propose a pre-training model-based IR system called DynamicRetriever. As for this system, the training stage embeds the token-level and document-level information (especially, document identifiers) of the corpus into the model parameters, then the inference stage directly generates document identifiers for a given query. Compared with existing search methods, the model-based IR system has two advantages: i) it parameterizes the traditional static index with a pre-training model, which converts the document semantic mapping into a dynamic and updatable process; ii) with separate document identifiers, it captures both the term-level and document-level information for each document. Extensive experiments conducted on the public search benchmark MS MARCO verify the effectiveness and potential of our proposed new paradigm for information retrieval.

研究の動機と目的

• 情報検索における静的スパースまたはディンスインデックスの必要性を排除し、それらを学習されたモデルパラメータに置き換える。
• 統一された事前学習モデルを介して直接文書検索を実行する新しいIRパラダイムを検討し、動的かつ更新可能な意味的マッピングを可能にする。
• 事前学習中にトークンレベル、文書レベル、文書識別子の表現を同時に学習することで、検索性能を向上させる。
• 特に分散環境下での性能と耐障害性を評価し、大規模コーパスへのスケーラビリティを検証する。

提案手法

• モデルは、文脈に応じたクエリ表現を生成するため、事前学習言語モデル（PLM）エンコーダーを用いる。
• 文書識別子の語彙を持つ専用のDocIDデコーダーが、クエリ埋め込みから関連する文書を直接予測する。
• 複数の目的を用いた事前学習により、文書コンテンツと識別子をモデルパラメータに埋め込む：マスクされた言語モデル学習、文書レベル再構成、パassageレベル再構成。
• クエリ-文書ペairを用いたファインチューニングにより、クエリ表現と正しい文書IDとの整合性を高める。
• スケーラビリティを確保するため、分散モデルバージョンではコーパスを複数のグループに分割し、各グループに独自のDocIDデコーダーを設け、スコアベースのランキングにより結果を統合する。
• 文書IDを学習可能なトークンとみなすことにより、従来のインデックスを回避し、エンドツーエンドのトレーニングと推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルが、直接文書識別子を予測することで、スパースおよびディンスインデックスの両方を置き換えることができるか？
• RQ2 トークンレベル、文書レベル、文書識別子表現の共同学習が、検索性能に与える影響は何か？
• RQ3 事前学習タスクとファインチューニングが、関連する文書を検索する能力に与える影響は何か？
• RQ4 モデルベースのIRアプローチは、大規模コーパスにどのようにスケーリングできるか。分散デプロイメントにおける課題は何か？

主な発見

• DynamicRetrieverは、MS MARCOでRecall@20が0.8861、MRRが0.5728を達成し、スパース検索ベースラインD-OverDenseをMRRで最大26.01%上回った。
• 事前学習段階を省略するとMRRが99.66%低下し、事前学習が文書の意味的特徴と識別子を学習するために不可欠であることを確認した。
• ファインチューニングをスキップするとMRRが48.54%低下し、クエリ-文書ペアを用いたファインチューニングがクエリと文書表現の整合性を高める上で極めて重要であることを示した。
• 分散モデルバージョンはRecall@20が0.4724を達成したが、グループ間のスコア分布の不一致により、統合後に性能が著しく低下した。
• モデルベースのアプローチにより、静的インデックスを維持せずとも動的かつ更新可能な文書検索が可能となり、IRの新しいパラダイムを提供した。