[論文レビュー] Evaluating Interpolation and Extrapolation Performance of Neural Retrieval Models

Jingtao Zhan, Xiaohui Xie+5 more|arXiv (Cornell University)|Apr 25, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、クエリ埋め込み類似度に基づいてトレーニングおよびテストデータを再サンプリングすることにより、ニューラルリtrievalモデルの補間と外挿の性能を別々に評価するための新規評価プロトコルを提案する。結果から、表現ベースのモデルは補間においてインタラクションベースのモデルとほぼ同等の性能を示すが、外挿においては顕著に劣ることが明らかになった。これは、標準ベンチマークを越えた一般化能力を別個に評価する必要があることを示している。

ABSTRACT

A retrieval model should not only interpolate the training data but also extrapolate well to the queries that are different from the training data. While neural retrieval models have demonstrated impressive performance on ad-hoc search benchmarks, we still know little about how they perform in terms of interpolation and extrapolation. In this paper, we demonstrate the importance of separately evaluating the two capabilities of neural retrieval models. Firstly, we examine existing ad-hoc search benchmarks from the two perspectives. We investigate the distribution of training and test data and find a considerable overlap in query entities, query intent, and relevance labels. This finding implies that the evaluation on these test sets is biased toward interpolation and cannot accurately reflect the extrapolation capacity. Secondly, we propose a novel evaluation protocol to separately evaluate the interpolation and extrapolation performance on existing benchmark datasets. It resamples the training and test data based on query similarity and utilizes the resampled dataset for training and evaluation. Finally, we leverage the proposed evaluation protocol to comprehensively revisit a number of widely-adopted neural retrieval models. Results show models perform differently when moving from interpolation to extrapolation. For example, representation-based retrieval models perform almost as well as interaction-based retrieval models in terms of interpolation but not extrapolation. Therefore, it is necessary to separately evaluate both interpolation and extrapolation performance and the proposed resampling method serves as a simple yet effective evaluation tool for future IR studies.

研究の動機と目的

• 既存のアドホックリtrievalベンチマークが一般化を真正に評価しているのか、それとも補間に偏っているのかを調査すること。
• 新しいアノテーションやテストセットを必要とせずに、補間と外挿の性能を分離して測定する手法を開発すること。
• 広く使われているニューラルリtrievalモデルを、補間と外挿のそれぞれの状況で再評価し、その一般化行動を理解すること。
• 外挿性能が分布外一般化と強く相関することを示すこと。補間とは異なり、外挿性能は一般化の優れた指標である。

提案手法

• 事前学習済みモデルを用いて、既存のベンチマーク（例：MS MARCO、TREC DL）のクエリをベクトル空間に埋め込む。
• 埋め込みのコサイン距離を用いてクエリ類似度を計算し、類似したクエリペア（補間）と類似しないクエリペア（外挿）を定義する。
• データセットを再サンプリングして、新たなトレーニングおよびテスト分割を生成する：類似クエリを強調する（補間）、類似しないクエリを強調する（外挿）。
• これらの再サンプリングされた分割でモデルをトレーニングおよび評価し、それぞれの状況における性能を分離する。
• 外挿性能が別個のテストセットにおける分布外一般化と強く相関することを比較することで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 現在のアドホックリtrievalベンチマークは、真の外挿ではなく補間をどれほど評価しているのか？
• RQ2 代表的モデルアーキテクチャ（例：表現ベース vs. インタラクションベース）は、補間と外挿の両状況でどのように性能を発揮するのか？
• RQ3 提案されたリサンプリングに基づく評価プロトコルは、外挿性能を効果的に分離・測定できるのか？
• RQ4 再サンプリングされたデータにおける外挿性能は、ホールドアウトテストセットにおける分布外一般化性能とどの程度相関するのか？

主な発見

• MS MARCO や TREC Deep Learning Tracks といった既存ベンチマークでは、トレーニングセットとテストセットの間でクエリエンティティ、意図、関連性ラベルに顕著な重複が見られ、補間に強く偏っていることが示された。
• 表現ベースのモデル（例：ディンスリtrieバル）は補間ではピークに近い性能を達成するが、ColBERT などのインタラクションベースのモデルと比較して外挿性能が著しく劣ることが分かった。
• 再サンプリングされたデータにおける外挿性能は、分布外一般化性能と強く相関しており、手法の有効性が裏付けられた。
• 補間性能は分布外性能と弱い相関を示し、一般化の代理指標としては不適切であることが示された。
• 結果から、モデルは類似クエリに対してはうまく補間できるが、真に新しいクエリには一般化できないことが明らかになった。これは、現在の評価手法における重要なギャップを示している。