[論文レビュー] Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval

Zehan Li, Nan Yang+2 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、1つのドキュメントに対して複数の擬似クエリを生成し、それらのクエリとの相互作用を介して、多様でクエリに依存するドキュメント表現を学習するデュアルクロスエンコーダー・モデルを提案する。この手法は、クロスエンコーダー並みの性能を実現しながらも、デュアルエンコーダーの推論効率を維持し、MS MARCO、TREC DL 19、TREC DL 20のベンチマークで強力なベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we propose a new dense retrieval model which learns diverse document representations with deep query interactions. Our model encodes each document with a set of generated pseudo-queries to get query-informed, multi-view document representations. It not only enjoys high inference efficiency like the vanilla dual-encoder models, but also enables deep query-document interactions in document encoding and provides multi-faceted representations to better match different queries. Experiments on several benchmarks demonstrate the effectiveness of the proposed method, out-performing strong dual encoder baselines.The code is available at \url{https://github.com/jordane95/dual-cross-encoder

研究の動機と目的

• 密度的検索におけるクロスエンコーダーとデュアルエンコーダーの性能格差を、推論効率を損なわずに埋める。
• エンコーディング中に深いクエリ-ドキュメント相互作用を組み込むことで、ドキュメント表現の多様性を向上させる。
• 多様なクエリ意味論に適応できる、多面的なドキュメント表現を可能にする。
• 擬似クエリ生成がデータ拡張および表現学習戦略として有効であるかを検証する。

提案手法

• 各ドキュメントに対して、クエリ生成モデルが複数の擬似クエリを生成し、相互作用のプロンプトとして用いる。
• 各ドキュメントは、生成されたクエリと連結することでクロスエンコーダー構造を用いてエンコードされ、クエリに依存するマルチビュー表現が得られる。
• 最終的なドキュメント表現は、すべてのクエリ固有の表現に対するマックスプーリングによって得られ、多様性を保持するとともに、効率的なベクトル検索を可能にする。
• 表現空間の最適化にハードネガティブを用いた対照学習を採用し、ゼロショット一般化性能を向上させる。
• クエリエンコーダーとドキュメントエンコーダー間でパラメータを共有することで、モデルサイズを削減しながらも性能を維持する。
• 最大内積検索（MIPS）と互換性があるため、事前に計算されたドキュメントベクトル上で効率的な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深いクエリ-ドキュメント相互作用を事前に計算することで、デュアルエンコーダーの推論効率を維持しながらクロスエンコーダー並みの性能を達成できるか？
• RQ2 クエリの多様性と品質は、マルチビュー・ドキュメントエンコーディングにおける検索性能にどのように影響するか？
• RQ3 擬似クエリ生成は、トレーニングデータの拡張および表現品質の向上に有効であるか？
• RQ4 マルチビュー・ドキュメントエンコーディングは、多様なクエリに対してマッチング精度を向上させるか？

主な発見

• MS MARCOでは、DPRデュアルエンコーダーベースラインに対して2.8 MRR@10の向上（36.0 対 34.2）を達成し、TREC DL 20では5.6 nDCG@10の向上（68.9 対 63.3）を示した。
• TREC DL 20では、計算コストを抑えながらColBERTをnDCG@10で上回った。
• データ拡張なしでも、TREC DL 19ベンチマークでデータ拡張を用いたDPRと同等の性能を達成した。
• アブレーション実験では、生成クエリで事前学習することで微調整性能が向上したが、実データでの直接微調整の方がより良い結果を示した。
• エンコーダーのパラメータを束縛することで性能がわずかに低下したため、非対称なエンコーディングがクエリ-ドキュメント相互作用のモデリングに有益であることが示唆された。
• 1ドキュメントあたり4〜6個の生成クエリで十分な性能が得られ、多様性と効率性のバランスが取れている。