[論文レビュー] Transformer Memory as a Differentiable Search Index

Yi Tay, Vinh Q. Tran+11 more|arXiv (Cornell University)|Feb 14, 2022

Topic Modeling被引用数 82

ひとこと要約

DSI はクエリを直接 docids にマップする単一の Transformer を訓練し、コーパス全体をモデルのパラメータにエンコードしてエンドツーエンドの検索を有効化し、ベースラインより強い改善を達成、ゼロショット性能を含む。

ABSTRACT

In this paper, we demonstrate that information retrieval can be accomplished with a single Transformer, in which all information about the corpus is encoded in the parameters of the model. To this end, we introduce the Differentiable Search Index (DSI), a new paradigm that learns a text-to-text model that maps string queries directly to relevant docids; in other words, a DSI model answers queries directly using only its parameters, dramatically simplifying the whole retrieval process. We study variations in how documents and their identifiers are represented, variations in training procedures, and the interplay between models and corpus sizes. Experiments demonstrate that given appropriate design choices, DSI significantly outperforms strong baselines such as dual encoder models. Moreover, DSI demonstrates strong generalization capabilities, outperforming a BM25 baseline in a zero-shot setup.

研究の動機と目的

• コーパス内容を完全にモデルのパラメータにエンコードする検索モデルを動機づける。
• インデックス付けと検索のために、seq2seq Transformer 内でドキュメントと docid をどのように表現するかを探る。
• Natural Questions データ上で、モデル規模とコーパス規模にわたる DSI を評価する。

提案手法

• Differentiable Search Index (DSI) を seq2seq モデルとして定式化し、ドキュメント-to-docid の関連付け（インデックス作成）とクエリ-to-docid のマッピング（検索）を学習する。
• 直接表現、集合/反転インデックスなど、複数のドキュメント表現と、非構造化のアトミック、ナイーブな文字列、意味的に構造化されたドキュメントID のいくつかの表現を調査する。
• T5ベースのバックボーンを用いた、インデックス作成と検索タスクを組み合わせたマルチタスク学習で訓練する。
• さまざまなインデックス戦略（Inputs2Targets、Targets2Inputs、Bidirectional、Span Corruption）とドキュメント表現を採用し、直接インデックスが有効であることを特定する。
• 階層クラスタリングによる意味的に構造化された識別子を生み出す、意味的な docid の構築を探る。
• BM25 およびデュアルエンコーダと比較し、教師なしベースラインに対するゼロショット性能をテストする。）

実験結果

リサーチクエスチョン

• RQ1 単一の Transformer がコーパス情報を格納し、別個のインデックスなしでエンドツーエンドの検索を実行できるか。
• RQ2 異なるドキュメント表現と docid 表現は、検索性能とスケーラビリティにどう影響するか。
• RQ3 モデルサイズとコーパスサイズが DSI の性能に与える影響は何か、またマルチタスク訓練は結果にどのように影響するか。
• RQ4 DSI は BM25 および教師なしベースラインと比較してゼロショット検索でどう機能するか。

主な発見

モデル	サイズ	手法	ヒット@1_NQ10K	ヒット@10_NQ10K	ヒット@1_NQ100K	ヒット@10_NQ100K	ヒット@1_NQ320K	ヒット@10_NQ320K
BM25	-	-	12.4	33.5	20.9	46.4	11.6	34.4
T5	Base	Dual Encoder	16.2	48.6	18.7	55.2	20.5	58.3
T5	Large	Dual Encoder	18.8	55.7	22.3	60.5	22.4	63.3
T5	XL	Dual Encoder	20.8	59.6	23.3	63.2	23.9	65.8
T5	XXL	Dual Encoder	22.1	61.6	24.1	64.5	24.3	67.3
DSI	Base	Atomic Docid	13.0	38.4	23.8	58.6	20.7	40.9
DSI	Large	Atomic Docid	31.3	59.4	17.1	52.3	11.6	37.6
DSI	XL	Atomic Docid	40.1	76.9	19.0	55.3	28.1	61.9
DSI	XXL	Atomic Docid	39.4	77.0	25.3	67.9	24.0	55.1
DSI	Base	Naive String Docid	28.1	48.0	18.7	44.6	6.7	21.0
DSI	Large	Naive String Docid	34.7	60.5	21.2	50.7	13.3	33.6
DSI	XL	Naive String Docid	44.7	66.4	24.0	55.1	16.7	58.1
DSI	XXL	Naive String Docid	46.7	77.9	27.5	62.4	23.8	55.9
DSI	Base	Semantic String Docid	33.9	57.3	19.0	44.9	27.4	56.6
DSI	Large	Semantic String Docid	37.5	65.1	20.4	50.2	35.6	62.6
DSI	XL	Semantic String Docid	41.9	67.1	22.4	52.2	39.1	66.8
DSI	XXL	Semantic String Docid	48.5	72.1	26.9	59.5	40.4	70.3

• DSI は、監視付きファインチューニングにおいて、すべてのデータセットスケールで NQ に対して BM25 およびデュアルエンコーダのベースラインを上回る（意味的識別子で大規模データセットでは Hits@1 が相対で最大 +66% まで向上）。
• 意味的に構造化された docid がドキュメントID表現の中で全体の最良パフォーマンスを示し、アトミックな docid はゼロショット設定で最も強く機能する。
• 直接のドキュメントインデックス作成（32 トークン）と Inputs2Targets インデックス作成は一般に強力な結果を提供するが、他のいくつかのインデックス戦略は悪い結果になるか失敗する。
• モデルスケールは DSI の性能をデュアルエンコーダよりも一貫して向上させ、意味的 docids は特にスケーリングの恩恵を受ける。
• ゼロショットの結果では、いくつかの構成で DSI が SentenceT5 および BM25 を上回り、特にアトミックな docid の場合に顕著である。