[論文レビュー] On Single and Multiple Representations in Dense Passage Retrieval

Craig Macdonald, Nicola Tonellotto+1 more|arXiv (Cornell University)|Aug 13, 2021

Topic Modeling参考文献 19被引用数 5

ひとこと要約

この論文は、単一表現（ANCE）と複数表現（ColBERT）の密度型パラグラフ検索手法を比較し、応答時間およびメモリ使用量においてANCEがより効率的である一方で、MAPおよびMRR@10においてColBERTが顕著に優れていることを示している。特に、難易度の高い、定義的で、複雑なクエリにおいて顕著な優位性を示している。本研究は、TREC 2019およびMSMARCOデータセットを用いて、同一条件下でのこれらの2つの密度型検索ファミリーの最初の直接比較を提供している。

ABSTRACT

The advent of contextualised language models has brought gains in search effectiveness, not just when applied for re-ranking the output of classical weighting models such as BM25, but also when used directly for passage indexing and retrieval, a technique which is called dense retrieval. In the existing literature in neural ranking, two dense retrieval families have become apparent: single representation, where entire passages are represented by a single embedding (usually BERT's [CLS] token, as exemplified by the recent ANCE approach), or multiple representations, where each token in a passage is represented by its own embedding (as exemplified by the recent ColBERT approach). These two families have not been directly compared. However, because of the likely importance of dense retrieval moving forward, a clear understanding of their advantages and disadvantages is paramount. To this end, this paper contributes a direct study on their comparative effectiveness, noting situations where each method under/over performs w.r.t. each other, and w.r.t. a BM25 baseline. We observe that, while ANCE is more efficient than ColBERT in terms of response time and memory usage, multiple representations are statistically more effective than the single representations for MAP and MRR@10. We also show that multiple representations obtain better improvements than single representations for queries that are the hardest for BM25, as well as for definitional queries, and those with complex information needs.

研究の動機と目的

• 単一表現（ANCE）と複数表現（ColBERT）の密度型検索手法の効果性を直接比較すること。
• さまざまなクエリタイプにおいて、各手法がBM25ベースラインに対してどのように性能を発揮するかを評価すること。
• 特定のクエリタイプにおいて、一方の手法が他方を上回る状況を同定すること。
• 検索効果性と計算効率のトレードオフを分析すること。
• 両者の表現タイプの長所を組み合わせた将来のハイブリッド手法に役立つ知見を提供すること。

提案手法

• 本研究では、ANCEとColBERTの両方の手法に同一のTREC 2019およびMSMARCO Devデータセットを用いて、公平な比較を実現している。
• ANCEは各パラグラフを[CLS]トークンの埋め込みによって1つの表現で表すが、ColBERTはパラグラフ内の各トークンに対して別々の埋め込みを用いる。
• 両手法とも、FAISSを用いた近似最近傍探索インデキシングを用いて検索を実行している。
• 最終的なランク付けは、クエリとパラグラフの埋め込み間のコサイン類似度に基づき、ColBERTではトークンレベルの一致に対するマックス類似度集約を適用している。
• 効果性は、標準的な情報検索指標（MAP、MRR@10、および特定のクエリサブセットにおけるPrecision@10）を用いて評価している。
• 個々のクエリの分析を実施し、一方の手法が他方を顕著に上回るケースを同定しており、ColBERTのアテンション行列の可視化も行っている。

実験結果

リサーチクエスチョン

• RQ1 標準的な情報検索指標において、単一表現（ANCE）と複数表現（ColBERT）の密度型検索手法の効果性はどのように比較されるか？
• RQ2 どのようなクエリタイプにおいて、複数表現（ColBERT）が単一表現（ANCE）を顕著に上回り、逆にどのような場合にANCEがColBERTを上回るか？
• RQ3 BM25ベースラインにとって特に困難なクエリにおいて、2つの手法はそれぞれどのように性能を発揮するか？
• RQ4 応答時間およびメモリ使用量という観点から、ANCEとColBERTの間の計算的トレードオフはどのようなものか？
• RQ5 個々のクエリ分析は、いずれの手法の表現戦略における体系的な弱みや強みを明らかにできるか？

主な発見

• ColBERTはTREC 2019データセットにおいてMAPでANCEを顕著に上回り、統計的に有意な改善を示した。
• MSMARCO DevセットにおいてColBERTはMRR@10でANCEを上回り、トップ10のランク付け性能が優れていることを示した。
• BM25ベースラインにとって特に困難なクエリにおいて、複数表現（ColBERT）は単一表現（ANCE）よりも顕著な改善を示した。
• 定義的クエリにおいてColBERTはANCEを上回り、TREC 2019の19個の定義的クエリのうち16個でより良い性能を示した。
• ANCEは効率性に優れており、平均応答時間とメモリ使用量がColBERTよりも低かった。
• 一部のケースでは、ANCEは[CLS]埋め込みによる情報損失のため、複雑なクエリを誤って解釈したが、ColBERTはサブワードトークン化の影響で、'ww1'対'ww2'のような高類似度のトークンペアに過剰適合する場合があった。