[论文解读] Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation

Joel Mackenzie, Andrew Trotman+1 more|arXiv (Cornell University)|Oct 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 16

一句话总结

本文研究了基于Transformer的可学习稀疏表示在检索系统中查询评估效率的问题，发现‘怪异’的词项权重——即非直观、非标准的分布——会显著减少文档逐次（DaaT）方法的优化机会。因此，得分逐次（SaaT）方法变得更具竞争力，采用近似评估且ρ=5时，可在承受最多3%有效性损失的前提下，显著降低平均和尾部查询延迟，尤其在该设置下表现突出。

ABSTRACT

Recent advances in retrieval models based on learned sparse representations generated by transformers have led us to, once again, consider score-at-a-time query evaluation techniques for the top-k retrieval problem. Previous studies comparing document-at-a-time and score-at-a-time approaches have consistently found that the former approach yields lower mean query latency, although the latter approach has more predictable query latency. In our experiments with four different retrieval models that exploit representational learning with bags of words, we find that transformers generate "wacky weights" that appear to greatly reduce the opportunities for skipping and early exiting optimizations that lie at the core of standard document-at-a-time techniques. As a result, score-at-a-time approaches appear to be more competitive in terms of query evaluation latency than in previous studies. We find that, if an effectiveness loss of up to three percent can be tolerated, a score-at-a-time approach can yield substantial gains in mean query latency while at the same time dramatically reducing tail latency.

研究动机与目标

• 理解基于Transformer的可学习稀疏表示如何影响查询评估性能。
• 探究这些模型中‘怪异’的词项权重分布是否阻碍传统DaaT优化技术（如跳过和提前退出）的应用。
• 在现代可学习稀疏检索模型背景下，比较DaaT与SaaT查询评估策略的性能表现。
• 评估在近似评估条件下，检索有效性与查询延迟之间的权衡关系。
• 评估当词项权重非标准且不可预测时，SaaT是否能在实际中超越DaaT。

提出的方法

• 基于Transformer生成的可学习稀疏表示，对四种检索模型进行实证评估：BM25-T5、SPLADEv2、BERT-2021和BERT-2022。
• 在这些模型上实现并比较文档逐次（DaaT）与得分逐次（SaaT）查询评估策略。
• 通过工作限制参数ρ实施近似查询评估，以控制计算成本并测量有效性损失。
• 通过Tukey箱线图测量平均查询延迟和尾部延迟，以评估性能的可预测性。
• 在TREC-COVID和TREC-AP数据集上开展实验，评估有效性（均值RR@10）与效率。
• 分析不同模型/系统组合在有效性与延迟之间的帕累托最优权衡。

实验结果

研究问题

• RQ1 基于Transformer的可学习稀疏表示中的词项权重分布如何影响文档逐次（DaaT）查询评估的性能？
• RQ2 ‘怪异’权重（如对停用词或子词赋予高分）在多大程度上会削弱标准DaaT优化技术（如跳过和提前退出）的效果？
• RQ3 在可学习稀疏表示上应用时，得分逐次（SaaT）查询评估是否在平均和尾部查询延迟方面优于DaaT？
• RQ4 在使用工作限制参数ρ的近似查询评估下，检索有效性与查询评估效率之间的权衡关系如何？
• RQ5 尽管以往研究显示SaaT的平均延迟通常更高，但在词项权重非标准且不可预测的情况下，SaaT是否仍能实现比DaaT更优的整体效率？

主要发现

• 可学习稀疏表示中的词项权重分布高度非标准，对语义信息量低的词项（如停用词和子词）分配了高分，作者称之为‘怪异’权重。
• 这些怪异权重严重限制了DaaT优化技术（如跳过和提前退出）的效果，大幅削弱了其相对于SaaT的性能优势。
• 在使用ρ=5的近似评估时，得分逐次（SaaT）方法在TREC-COVID数据集上实现了显著低于DaaT的平均查询延迟，尤其突出。
• 在均值RR@10最多损失3%的前提下，SaaT可将平均查询延迟降低至52ms（仅为PISA延迟的四分之一），同时显著降低尾部延迟。
• 帕累托最优前沿表明，没有单一模型或系统占据主导地位；相反，最优选择取决于应用中对有效性与效率的特定权衡。
• JASS-A（SaaT结合近似评估）在SPLADEv2上实现了高度可预测的延迟，得益于激进的查询扩展，使得每个查询的ρ个词项处理保持一致。