[論文レビュー] Learning Passage Impacts for Inverted Indexes

Antonio Mallia, Omar Khattab+2 more|arXiv (Cornell University)|Apr 24, 2021

Topic Modeling参考文献 24被引用数 7

ひとこと要約

DeepImpactは、文書内のトークンの意味的影響スコアを文脈に応じた言語モデルを用いて学習するニューラル語彙重み付け方式を提案する。これにより、標準の逆インデックスを用いた効率的な検索が可能となる。DeepImpactは、効果性指標において先行する最初の段階の手法を最大17%上回り、ColBERTなどの再ランク手法と組み合わせると最大5.1倍の高速化を実現する。

ABSTRACT

Neural information retrieval systems typically use a cascading pipeline, in which a first-stage model retrieves a candidate set of documents and one or more subsequent stages re-rank this set using contextualized language models such as BERT. In this paper, we propose DeepImpact, a new document term-weighting scheme suitable for efficient retrieval using a standard inverted index. Compared to existing methods, DeepImpact improves impact-score modeling and tackles the vocabulary-mismatch problem. In particular, DeepImpact leverages DocT5Query to enrich the document collection and, using a contextualized language model, directly estimates the semantic importance of tokens in a document, producing a single-value representation for each token in each document. Our experiments show that DeepImpact significantly outperforms prior first-stage retrieval approaches by up to 17% on effectiveness metrics w.r.t. DocT5Query, and, when deployed in a re-ranking scenario, can reach the same effectiveness of state-of-the-art approaches with up to 5.1x speedup in efficiency.

研究の動機と目的

• クエリと文書の間の意味的不一致に対処するための従来の語彙頻度ベースの検索の限界を解消すること。
• 標準の逆インデックスシステムと互換性を保ちつつ、最初の段階の検索効果性を向上させること。
• ニューラル再ランクの計算コストを、最初の段階でより質の高い候補集合を提供することによって低減すること。
• DeepCTなどの先行手法が直列にスコアを計算するという制限を克服し、共に適応する影響スコアを可能にすること。
• 文書拡張と文脈に依存する語彙重要度推定を統合的に扱える、インデックスに適したフレームワークを構築すること。

提案手法

• 各文書に対してDocT5Queryを活用し、意味的に関連する語彙を含むクエリ候補を生成することで、文書表現を豊かにする。
• 微調整されたBERTモデルを用いて、各文書の各トークンに対して文脈に応じた単一の意味的影響スコアを計算する。
• 標準の逆インデックスに格納可能な整数値にこれらの影響スコアを変換し、効率性を維持する。
• 関連するクエリ-文書ペairの relevance を最大化する微分可能な目的関数を用いて、影響スコアをエンドツーエンドで最適化する。
• 学習された影響スコアをボックストゥルース検索フレームワークに統合し、標準の語彙頻度の代わりに使用する。
• 事前に影響スコアを計算・インデックス化することで、標準の逆インデックス構造を用いた高速なクエリ処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文書内の個々のトークンに対して意味的影響スコアを学習することで、最初の段階の検索効果性を向上させられるか？
• RQ2 個々の語彙スコアとは対照的に、語彙間で共に適応する影響スコアを学習することで、検索効果性にどのような差が生じるか？
• RQ3 標準の逆インデックスシステムに神経的影響スコア手法を効率的に導入できるか、速度に悪影響を及げないか？
• RQ4 DocT5Queryを用いた拡張された文書表現は、最初の段階の候補集合の質をどの程度向上させるか？
• RQ5 DeepImpactを最初の段階の検索器として使用することで、エンドツーエンドのニューラル手法と比較して、より高速かつ効果的な再ランクが可能になるか？

主な発見

• DeepImpactは、MRR@10 や NDCG@10 といった標準の検索指標において、DocT5Queryを最大17%上回る効果性を示した。
• 最初の段階の検索器として使用した場合、DeepImpactは全カットオフレベルですべてのベースラインを上回る再現率を達成し、特に低カットオフ（例：10および20）で顕著な差を示した。
• DeepImpact + ColBERT再ランカーは、すべてのテストセットでColBERTのエンドツーエンドE2Eアプローチを上回るMRR@10を達成し、パイプライン全体の効果性が向上したことを示した。
• DeepImpact + ColBERTパイプラインは、より質の高い最初の段階の候補集合のおかげで、ColBERT E2Eに比べて4.4倍から5.1倍の高速化を達成した。
• カットオフ1000において、DeepImpactはMSMARCO Devで94.8%の再現率を達成し、BM25（85.8%）、DeepCT（91.0%）、DocT5Query（94.7%）を上回った。
• DeepImpactは、ColBERT E2Eなどの最先端モデルと同等またはそれ以上の効果性を達成しながら、効率的なインデキシングと候補選択のおかげで、はるかに高速なクエリ処理を可能にした。