[論文レビュー] ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT

Omar Khattab, Matei Zaharia|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 37被引用数 189

ひとこと要約

ColBERTは、クエリと文書を別々にBERTでエンコードする遅延インタラクション構造を導入し、安価なMaxSimベースのインタラクションで関連性をスコアリングすることで、オフラインの文書インデックス作成とエンドツーエンド検索を実現し、従来のBERTベースランキングよりも高い精度と大幅なスピードアップを実現します。

ABSTRACT

Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to fine-tuning deep language models (LMs) for document ranking. While remarkably effective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for efficient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their fine-grained similarity. By delaying and yet retaining this fine-granular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations offline, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's effectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.

研究の動機と目的

• BERTベースのランキングによるパッセージ検索の効率ボトルネックに対処する。
• クエリと文書のエンコードを分離してオフラインインデックス作成を可能にする遅延インタラクション機構を提案する。
• MaxSimベースのインタラクションを活用して細かいマッチングを保持しつつベクターインデックス付き検索を可能にする。
• 効果を犠牲にすることなく大規模コレクションからのエンドツーエンド検索機能を示す。

提案手法

• 共通のBERTベースエンコーダを用いてクエリと文書をエンコードし、文脈化された埋め込みのバッグを作成する。
• クエリ [Q] と文書 [D] を区別するために特殊トークンを先頭に付与し、固定サイズの埋め込みを得るための線形射影を適用する。
• クエリと文書の埋め込み間の最大類似度の和として遅延インタラクションスコアを適用し、コサイン類似度（正規化を通じて）または二乗L2距離を用いる。
• Adam最適化を用いた(クエリ、正例文書、負例文書)の対を用いるエンドツーエンドのペアワイズ損失で訓練する。
• 文書埋め込みをオフラインでインデックス化して高速検索を可能にし、FAISSを用いたベクトルインデックス付きエンドツーエンド検索をサポートする。
• エンドツーエンドの検索のため、FAISS IVFPQを用いた二段階の絞り込みアプローチで候補をフィルタリングしてから正確なColBERTスコアリングを行う。

実験結果

リサーチクエスチョン

• RQ1 ColBERTは完全なBERTベースのランキングの有効性にどれだけ近づけつつ、待機時間を大幅に削減できるか。
• RQ2 ColBERTはベクトル類似度インデックスを使用して大規模コレクションからのエンドツーエンド検索をサポートできるか。
• RQ3 遅延インタラクションとクエリ拡張がColBERTの性能に対してどの程度寄与しているか。
• RQ4 実用的な設定でのColBERTのオフラインインデックス作成コストとメモリフットプリントはどの程度か。

主な発見

• ColBERTは非-BERTベースラインと競争力のある有効性を実現し、多くの既存のニューラルランカーより改善を示し、著しいスピードアップを提供する。
• 再ランキング設定では、ColBERTは標準的なBERTベースのランキングと比較して最大約170倍のスピードアップとFLOP数を大幅に削減（ColBERT（再ランキング）対BERTベースのベースライン）。
• ColBERT（L2）を用いたエンドツーエンドの検索はMS MARCOで36.0 MRR@10、エンドツーエンド遅延458 ms、Recall@50/200/1000はそれぞれ82.9/92.3/96.8、実用的なエンドツーエンド性能を示す。
• 埋め込みを計算するための文書インデックス作成は、MS MARCO規模の4GPUを用いた単一サーバー上で数時間程度の実行で可能で、スペースフットプリントは十数GiB程度と控えめである。
• 徹底的なアブレーション研究は、遅延インタラクション、MaxSim、およびエンコーダ設計の選択がColBERTの有効性に不可欠であることを示している。