[论文解读] Interpreting search result rankings through intent modeling

Jaspreet Singh, Avishek Anand|arXiv (Cornell University)|Sep 13, 2018

Explainable Artificial Intelligence (XAI)参考文献 26被引用 4

一句话总结

本文提出了一种事后、与模型无关的框架，通过查询扩展和简单的检索模型来近似黑箱排序模型的意图，从而解释复杂的神经排序模型。结果表明，扩展后的查询术语可作为排序决策的可解释性说明，实现高局部保真度，并通过战略性采样偏好对，提升全局准确性，从而检测模型偏差及成对文档排序差异。

ABSTRACT

Given the recent interest in arguably accurate yet non-interpretable neural models, even with textual features, for document ranking we try to answer questions relating to how to interpret rankings. In this paper we take first steps towards a framework for the interpretability of retrieval models with the aim of answering 3 main questions "What is the intent of the query according to the ranker?", "Why is a document ranked higher than another for the query?" and "Why is a document relevant to the query?" Our framework is predicated on the assumption that text based retrieval model behavior can be estimated using query expansions in conjunction with a simpler retrieval model irrespective of the underlying ranker. We conducted experiments with the Clueweb test collection. We show how our approach performs for both simpler models with a closed form notation (which allows us to measure the accuracy of the interpretation) and neural ranking models. Our results indicate that we can indeed interpret more complex models with reasonable accuracy under certain simplifying assumptions. In a case study we also show our framework can be employed to interpret the results of the DRMM neural retrieval model in various scenarios.

研究动机与目标

• 解决信息检索中复杂神经排序模型可解释性不足的问题。
• 开发一种事后、与模型无关的方法，解释为何某文档在排序中高于另一文档，或为何被认为与查询相关。
• 通过查询扩展和更简单的检索模型，估计黑箱排序模型所感知的底层查询意图。
• 通过分析所解释意图中的术语，检测偏差，尤其是时间性和模型特定的偏差。
• 使开发者和用户能够通过可解释、人类可读的说明理解、调试和改进排序模型。

提出的方法

• 使用查询扩展生成一组反映黑箱排序模型所感知查询意图的意图术语。
• 在扩展后的查询上训练一个简单、可解释的检索模型（例如 BM25 或 TF-IDF），以近似原始排序模型的输出。
• 将解释任务表述为偏好学习问题，利用原始排序中的成对文档比较。
• 通过最小化黑箱模型与简单模型之间的排序不一致，使用偏好对来优化扩展查询。
• 应用文档扰动技术，以减少弱监督设置下解释中的假阳性术语。
• 使用术语重要性评分（例如通过词频和文档长度）可视化解释，以说明为何某文档的排名高于另一文档。

实验结果

研究问题

• RQ1 黑箱排序模型所感知的实际查询意图是什么？
• RQ2 为何在给定查询下文档 A 的排名高于文档 B？
• RQ3 为何根据模型内部逻辑，某特定文档被认为与查询相关？
• RQ4 如何通过可解释的、查询扩展的说明，准确近似复杂神经排序模型的行为？
• RQ5 该框架能否检测到排序决策中的时间性和模型特定偏差？

主要发现

• 该框架通过聚焦于 top-k 结果中的偏好对，在解释排序方面实现了高局部保真度，尽管这在一定程度上牺牲了全局准确性。
• 从排名靠后的文档中采样额外的偏好对，可显著提升全局保真度，即使以降低局部精确度为代价。
• top-k + 随机排序采样策略始终优于纯随机或基于排名的采样策略，表明在局部与全局保真度之间取得平衡是最优的。
• 在弱监督设置下，文档扰动对于减少解释中的假阳性术语至关重要，从而提高可靠性。
• 对 DRMM 和 DESM 的案例研究揭示了明显的时序偏差：DRMM 倾向于 2004 年代新闻事件（例如，阿富汗战争、戈尔 2000 年大选），而 DESM 反映出更通用的语义概念（例如，旗帜、护士）。
• 基于术语重要性评分的可视化解释能有效说明成对排序差异，例如为何包含稀有但相关术语（如“肠道”）的文档排名高于语义相似但不够具体的文档。