[论文解读] Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking

Sebastian Hofstätter, Markus Zlabinger+1 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 39被引用 34

一句话总结

本文提出 TK（Transformer-Kernel），一种用于即时搜索的快速且可解释的神经重排序模型，仅使用最多三层轻量级 Transformer 层进行上下文建模，并通过核池化机制对词项交互进行打分。在每查询 200ms 的时间预算下，TK 在 MRR、召回率和 nDCG 上均达到当前最先进性能，分别超越 BERT 10%、40% 和 19%，并通过可视化词级相似度和核激活，实现对排序决策的详细解释。

ABSTRACT

Search engines operate under a strict time constraint as a fast response is paramount to user satisfaction. Thus, neural re-ranking models have a limited time-budget to re-rank documents. Given the same amount of time, a faster re-ranking model can incorporate more documents than a less efficient one, leading to a higher effectiveness. To utilize this property, we propose TK (Transformer-Kernel): a neural re-ranking model for ad-hoc search using an efficient contextualization mechanism. TK employs a very small number of Transformer layers (up to three) to contextualize query and document word embeddings. To score individual term interactions, we use a document-length enhanced kernel-pooling, which enables users to gain insight into the model. TK offers an optimal ratio between effectiveness and efficiency: under realistic time constraints (max. 200 ms per query) TK achieves the highest effectiveness in comparison to BERT and other re-ranking models. We demonstrate this on three large-scale ranking collections: MSMARCO-Passage, MSMARCO-Document, and TREC CAR. In addition, to gain insight into TK, we perform a clustered query analysis of TK's results, highlighting its strengths and weaknesses on queries with different types of information need and we show how to interpret the cause of ranking differences of two documents by comparing their internal scores.

研究动机与目标

• 为解决在生产级搜索引擎中严格时间约束下，神经重排序在效率与效果之间的关键权衡问题。
• 设计一种重排序模型，在实际推理时间预算（如每查询 ≤200ms）内保持高效果。
• 通过暴露模型在词项交互层面的内部打分机制，实现模型可解释性，使用户能够理解为何某文档排名高于另一文档。
• 提出一种考虑时间预算的评估框架，根据模型推理速度动态调整重排序深度，从而实现在不同推理时间模型间的公平比较。

提出的方法

• TK 使用少量（最多三层）轻量级、低维的 Transformer 层，独立对查询和文档的词嵌入进行上下文建模。
• 计算上下文化查询与文档词项之间的单一交互匹配矩阵，以建模词对词的相关性。
• 采用核池化机制，利用高斯核在相似度区间上进行软直方图打分，实现可微且可解释的词项交互聚合。
• 模型架构将信息瓶颈隔离在交互层，使用户能够对词表示和相似度模式进行详细探测，以实现可解释性。
• 该方法支持通过可视化词级相似度和核贡献，实现文档间的并行对比，从而实现对排序差异的根因分析。
• 评估在时间预算感知条件下进行，各模型的重排序深度根据其推理速度进行缩放，确保在不同效率水平下的公平比较。

实验结果

研究问题

• RQ1 在严格时间约束下，极简的基于 Transformer 的上下文建模机制是否能实现具有竞争力的重排序效果？
• RQ2 在实际时间预算（如每查询 100–200ms）下，像 TK 这类轻量级重排序模型与 BERT 相比，效果如何？
• RQ3 神经重排序模型的内部打分过程在词项和核层面在多大程度上可以被解释和说明？
• RQ4 模型性能在不同类型用户查询中如何变化？TK 在不同信息需求类别中的优势与劣势分别是什么？

主要发现

• 在每查询 200ms 的时间预算下，TK 在 MSMARCO-Passage 数据集上的 MRR 比 BERT 高 10%，召回率高 40%，nDCG 高 19%。
• 当时间预算分别限制在 200ms、500ms 和 250ms 时，TK 在 MRR、召回率和 nDCG 三项指标上均超越 BERT，展现出更优的效率-效果权衡。
• 在涉及定义或澄清的查询（如 'what is'）中，TK 显著优于 BM25，且性能接近 BERT，显示出在自然语言问题上的强大表现。
• 模型的可解释性使用户能够识别出，查询词 'define' 的强匹配主要由 'also known as'、'subfamily' 和 'is a type' 等短语驱动，表明其具备超越简单同义词匹配的上下文理解能力。
• 聚类查询分析显示，TK 在定义类查询和多词查询中表现优异，中位倒数排名为 3–5，而 BM25 在此类查询中排名常超过 10。
• 核贡献的可视化分析表明，图 3 中左侧（相关）文档的核激活更强且更一致（如 µ=1，sk_log = -3.1），而无关文档的核激活则更弱（sk_log = -5.0），直接解释了其更高排名的原因。