[論文レビュー] Multi-Vector Retrieval as Sparse Alignment

Yujie Qian, Jinhyuk Lee+6 more|arXiv (Cornell University)|Nov 2, 2022

Topic Modeling被引用数 4

ひとこと要約

ALIGNER は、学習可能なペアワイズアラインメントとエントロピー正則化付き単一スケールスケールを用いて、クエリとドキュメントのトークン間のスパースなトークンレベルのアラインメントとして文書検索を定式化する、新しいマルチベクトル検索モデルである。これにより、タスクに適応したスパース性と効率的なプリーニングが可能となる。ALIGNER は、BEIR で 51.1 nDCG@10 の最先端のゼロショット性能を達成し、少しだけのファインチューニングで最大 15.7 ポイントの向上を示し、ドキュメントトークンのストレージを 80% 減少させながらも、性能の損失は最小限に抑えられる。

ABSTRACT

Multi-vector retrieval models improve over single-vector dual encoders on many information retrieval tasks. In this paper, we cast the multi-vector retrieval problem as sparse alignment between query and document tokens. We propose AligneR, a novel multi-vector retrieval model that learns sparsified pairwise alignments between query and document tokens (e.g. `dog' vs. `puppy') and per-token unary saliences reflecting their relative importance for retrieval. We show that controlling the sparsity of pairwise token alignments often brings significant performance gains. While most factoid questions focusing on a specific part of a document require a smaller number of alignments, others requiring a broader understanding of a document favor a larger number of alignments. Unary saliences, on the other hand, decide whether a token ever needs to be aligned with others for retrieval (e.g. `kind' from `kind of currency is used in new zealand}'). With sparsified unary saliences, we are able to prune a large number of query and document token vectors and improve the efficiency of multi-vector retrieval. We learn the sparse unary saliences with entropy-regularized linear programming, which outperforms other methods to achieve sparsity. In a zero-shot setting, AligneR scores 51.1 points nDCG@10, achieving a new retriever-only state-of-the-art on 13 tasks in the BEIR benchmark. In addition, adapting pairwise alignments with a few examples (<= 8) further improves the performance up to 15.7 points nDCG@10 for argument retrieval tasks. The unary saliences of AligneR helps us to keep only 20% of the document token representations with minimal performance loss. We further show that our model often produces interpretable alignments and significantly improves its performance when initialized from larger language models.

研究の動機と目的

• 既存のマルチベクトル検索モデルが密な非スパースなアラインメントに依存しており、効率的でない点や、効率的なプリーニング機構を欠いている点を是正すること。
• ファクトオイドの質問には少ないアラインメントを、アーギュメント検索のような広範なカバレッジを求めるタスクにはより多くのアラインメントを求めるなど、タスク固有のスパース性をトークンレベルのアラインメントに実装すること。
• クエリとドキュメントのトークンのうち、検索に寄与するものを特定するスパースな単一スケールスケールを学習するエンドツーエンド微分可能な手法を開発すること。
• スケールスケールに基づくプリーニングにより、トークン表現のストレージと計算コストを削減することで、性能を損なわず検索の効率を向上させること。
• スパースなアラインメントが解釈可能であり、大規模言語モデルからの初期化が性能をさらに向上させることを示すこと。

提案手法

• クエリとドキュメントのトークン間のスパースなアラインメントとしてマルチベクトル検索を定式化し、各アラインメントがコンテキストに埋め込まれたトークンベクトル間のペアワイズマッチングを表す。
• 微分可能なメカニズムを用いて、クエリトークンごとのアラインメント数を柔軟に制御可能な、スパースに学習されるペアワイズアラインメントを導入する。
• トークンがアラインメントに含めるべきかどうかを決定するための単一スケールスケールを提案し、アラインメント行列の行や列全体をマスクする効果を持つ。
• エントロピー正則化付き線形計画法を用いて、スパースな単一スケールスケールをエンドツーエンドで学習し、スパース性と性能の両面で L1 やゲーミング機構を上回る。
• 1 〜 8 例のファインチューニングで、ペアワイズアラインメントを微調整することで、ゼロショット推論で強く、少しだけのファインチューニング適合性を実現する。
• スケールスケールを用いて、ドキュメントトークンベクトルの 80% とクエリトークンベクトルの 50% をプリーニングし、nDCG@10 の低下は 1 ポイント未満に抑える。

実験結果

リサーチクエスチョン

• RQ1 スパースでタスクに適応したトークンレベルのアラインメントは、多様な情報検索タスクにおいて検索性能を向上させ得るか？
• RQ2 学習可能な単一スケールスケールは、性能の低下を伴わず、不要なクエリおよびドキュメントトークンを効果的に同定・プリーニングできるか？
• RQ3 ペアワイズアラインメントのスパース性を制御することで、ファクトオイド検索とアーギュメント検索のような異なる検索意図において、より良い一般化が達成できるか？
• RQ4 ALIGNER は対照的事前学習や蒸留なしで最先端の性能を達成できるか？
• RQ5 スパースなアラインメントは、解釈性を高め、大規模言語モデルとの互換性を向上させるか？

主な発見

• ALIGNER は、対照的事前学習や蒸留なしの検索モデルのみを用いた状態で、BEIR ベンチマークで 51.1 nDCG@10 の新たな最先端性能を達成した。
• 1 〜 8 件のファインチューニング例でのみ、ARGUMENT リトリーバルの性能が最大 15.7 ポイント nDCG@10 で向上し、強力な少しだけの適合性を示した。
• 単一スケールスケールによるプリーニングにより、ドキュメントトークンのストレージが 80% 減少し、クエリトークンの使用量も 50% 減少したが、nDCG@10 の低下は 1 ポイント未満であった。
• モデルは解釈可能なアラインメントを生成し、高スケールスケールのトークンはしばしば意味的に関連する語（例：「heart」がドキュメント内の「heart」とアラインメントする）と一致する。
• 大規模言語モデルからの初期化により、ALIGNER の性能が顕著に向上した。これは、事前学習済み言語モデルの事前知識と高い相性であることを示している。
• エントロピー正則化付き線形計画法によるスケールスケール学習は、L1 正則化や ReLU ゲーティングを上回り、スパース性と検索精度の両面で優れた性能を示した。