[論文レビュー] Ultron: An Ultimate Retriever on Corpus with a Model-based Indexer

Yujia Zhou, Jing Yao+4 more|arXiv (Cornell University)|Aug 19, 2022

Topic Modeling被引用数 15

ひとこと要約

Ultronは、文書知識を生成型トランスフォーマーモデルに直接埋め込むモデル中心のドキュメント検索システムを提案する。別個のインデックスを必要とせず、意味的ドキュメントID（URL/タイトル、または製品量子化コード）と三段階訓練戦略を用いることで、DPRのような二重エンコーダーベースラインと比較して、メモリとレイテンシを大幅に削減しながら最先端の検索パフォーマンスを達成する。

ABSTRACT

Document retrieval has been extensively studied within the index-retrieve framework for decades, which has withstood the test of time. Unfortunately, such a pipelined framework limits the optimization of the final retrieval quality, because indexing and retrieving are separated stages that can not be jointly optimized in an end-to-end manner. In order to unify these two stages, we explore a model-based indexer for document retrieval. Concretely, we propose Ultron, which encodes the knowledge of all documents into the model and aims to directly retrieve relevant documents end-to-end. For the model-based indexer, how to represent docids and how to train the model are two main issues to be explored. Existing solutions suffer from semantically deficient docids and limited supervised data. To tackle these two problems, first, we devise two types of docids that are richer in semantics and easier for model inference. In addition, we propose a three-stage training workflow to capture more knowledge contained in the corpus and associations between queries and docids. Experiments on two public datasets demonstrate the superiority of Ultron over advanced baselines for document retrieval.

研究の動機と目的

• ドキュメント検索におけるパイプライン型インデックス・リトリーブフレームワークの限界を克服すること。これはインデキシングとリトリーブを分離しており、エンドツーエンド最適化を妨げる。
• モデル学習と推論効率を向上させるために、より豊富で意味的に意味のあるドキュメントIDを設計すること。
• リトリーブ分野における教師ありデータの不足を解決するため、一般データおよび検索指向データで事前学習し、その後教師あり微調整を行う三段階訓練ワークフローを導入すること。
• 外部インデックスを必要とせず、クエリから直接順序付けられたドキュメントIDを生成するシーケンス・ツー・シーケンス生成により、エンドツーエンドのドキュメントリトリーブを可能にすること。

提案手法

• クエリからドキュメントIDリストへのシーケンス・ツー・シーケンス生成タスクとしてドキュメントリトリーブを扱う、T5ベースのエンコーダー・デコーダーモデルを用いる。
• 意味的ドキュメントIDの2種類のタイプを導入：キーワードベース（URLおよびタイトル）と意味的ベース（ドキュメント埋め込みの製品量子化コード）。
• 三段階訓練パイプラインを採用：ドキュメントコンテンツとドキュメントIDのペアで一般事前学習、疑似クエリを用いた検索指向の事前学習、関連性ラベル付きデータでの教師あり微調整。
• 推論時に制約付きビームサーチを適用し、モデルの自己回帰的確率から直接トップ-kドキュメントID順位付けを生成する。
• ドキュメントIDシーケンスのプレフィックスツリーのみを格納することで、ベクトルインデックスと比較して大幅にメモリオーヘッドを削減する。
• 製品量子化（PQ）を活用して、類似ドキュメントが共通のプレフィックスの下にグループ化されるコンactかつ意味的に一貫性のある識別子を生成する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースインデクサは、従来のインデックス・リトリーブパイプラインを上回るドキュメントリトリーブ精度を達成できるか？
• RQ2 キーワードベース（キーワード）と意味的ベース（意味的）の異なるドキュメントID表現は、リトリーブパフォーマンスとモデル収束にどのように影響するか？
• RQ3 限られた教師ありデータの下で、三段階訓練戦略がモデルの一般化能力とリトリーブパフォーマンスをどの程度向上させるか？
• RQ4 シーケンス生成によるエンドツーエンドリトリーブは、DPRのような二重エンコーダー手法と比較して、より低いメモリとレイテンシを実現できるか？

主な発見

• Ultron-PQは、MS MARCOでMRR@10が0.3155を達成し、DPR（0.2908）や他のベースラインを上回るが、メモリ使用量はわずか69.6MBにとどまる。
• 32万ドキュメントのコーパス上で、推論レイテンシをDPRの18.87msから8.90msに削減し、優れた効率性を示した。
• DPRのベクトルインデックスと比較して、90％のメモリコスト削減が達成された。UltronはドキュメントIDのプレフィックスツリーのみを格納するためである。
• 三段階訓練戦略はパフォーマンスを顕著に向上させ、特に教師あり微調整が最終的な向上に最も寄与した。
• 意味的ベースのドキュメントID（PQ）は、共通プレフィックスを持つドキュメント間で高い類似性の一貫性を示し、モデルの収束を支援した。
• アブレーションスタディの結果、教師あり微調整を削除するとリトリーブパフォーマンスが著しく低下することが確認され、その必要性が裏付けられた。