[论文解读] Evaluating Interpolation and Extrapolation Performance of Neural Retrieval Models

Jingtao Zhan, Xiaohui Xie+5 more|arXiv (Cornell University)|Apr 25, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出一种新颖的评估协议，通过基于查询嵌入相似性重采样训练和测试数据，以独立评估神经检索模型的内插与外推性能。结果表明，尽管基于表示的模型在内插任务中表现接近基于交互的模型，但在外推任务中则显著落后，凸显了在标准基准之外对泛化能力进行独立评估的必要性。

ABSTRACT

A retrieval model should not only interpolate the training data but also extrapolate well to the queries that are different from the training data. While neural retrieval models have demonstrated impressive performance on ad-hoc search benchmarks, we still know little about how they perform in terms of interpolation and extrapolation. In this paper, we demonstrate the importance of separately evaluating the two capabilities of neural retrieval models. Firstly, we examine existing ad-hoc search benchmarks from the two perspectives. We investigate the distribution of training and test data and find a considerable overlap in query entities, query intent, and relevance labels. This finding implies that the evaluation on these test sets is biased toward interpolation and cannot accurately reflect the extrapolation capacity. Secondly, we propose a novel evaluation protocol to separately evaluate the interpolation and extrapolation performance on existing benchmark datasets. It resamples the training and test data based on query similarity and utilizes the resampled dataset for training and evaluation. Finally, we leverage the proposed evaluation protocol to comprehensively revisit a number of widely-adopted neural retrieval models. Results show models perform differently when moving from interpolation to extrapolation. For example, representation-based retrieval models perform almost as well as interaction-based retrieval models in terms of interpolation but not extrapolation. Therefore, it is necessary to separately evaluate both interpolation and extrapolation performance and the proposed resampling method serves as a simple yet effective evaluation tool for future IR studies.

研究动机与目标

• 探究现有即席检索基准是否真正评估泛化能力，还是偏向于内插性能。
• 开发一种方法，以在不需新标注或测试集的情况下，隔离并测量内插与外推性能。
• 在独立的内插与外推场景下，重新评估广泛使用的神经检索模型，以理解其泛化行为。
• 证明外推性能与分布外泛化密切相关，而内插性能则不然。

提出的方法

• 使用预训练模型将现有基准中的查询嵌入到向量空间中。
• 通过嵌入余弦距离计算查询相似性，将训练-测试对定义为相似（内插）或不相似（外推）。
• 对数据集进行重采样，创建新的训练与测试划分：一种强调相似查询（内插），另一种强调不相似查询（外推）。
• 在这些重采样划分上训练并评估模型，以隔离每种场景下的性能表现。
• 通过将外推性能与在独立测试集上的分布外泛化性能进行比较，验证该方法的有效性，结果显示强相关性。

实验结果

研究问题

• RQ1 当前即席检索基准在多大程度上评估的是内插而非真正的外推？
• RQ2 不同神经检索模型架构（如基于表示的模型与基于交互的模型）在外推与内插场景下的表现如何？
• RQ3 所提出的基于重采样的评估协议是否能有效隔离并测量外推性能？
• RQ4 在重采样数据上的外推性能与在保留测试集上的分布外泛化性能的相关性如何？

主要发现

• 如 MS MARCO 和 TREC Deep Learning Tracks 等现有基准在训练集与测试集之间存在显著的查询实体、意图和相关性标签重叠，表明其存在强烈的内插偏向。
• 基于表示的模型（如密集检索）在内插任务中达到接近峰值的性能，但在外推任务中与 ColBERT 等基于交互的模型相比显著下降。
• 在重采样数据集上的外推性能与分布外泛化性能表现出强相关性，验证了该方法的有效性。
• 内插性能与分布外性能的相关性微弱，表明其作为泛化能力的代理指标效果较差。
• 结果表明，模型可在相似查询上实现良好内插，但无法泛化到真正新颖的查询，揭示了当前评估实践中的关键缺陷。