[论文解读] Interpreting Neural Ranking Models using Grad-CAM

Jaekeol Choi, Jung-In Choi+1 more|arXiv (Cornell University)|May 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 9被引用 10

一句话总结

本文提出使用Grad-CAM来解释神经排序模型（NRMs），特别是MatchPyramid模型，通过可视化每个查询-文档词对对匹配分数的贡献。通过将基于梯度的归因方法应用于最后一层卷积层，该方法识别出有效词和被过滤的词，提升了摘要的相关性（用户研究中偏好度达78.37%），并通过更高的峰度和贡献总和，统计上区分了真实文档与负样本文档。

ABSTRACT

Recently, applying deep neural networks in IR has become an important and timely topic. For instance, Neural Ranking Models(NRMs) have shown promising performance compared to the traditional ranking models. However, explaining the ranking results has become even more difficult with NRM due to the complex structure of neural networks. On the other hand, a great deal of research is under progress on Interpretable Machine Learning(IML), including Grad-CAM. Grad-CAM is an attribution method and it can visualize the input regions that contribute to the network's output. In this paper, we adopt Grad-CAM for interpreting the ranking results of NRM. By adopting Grad-CAM, we analyze how each query-document term pair contributes to the matching score for a given pair of query and document. The visualization results provide insights on why a certain document is relevant to the given query. Also, the results show that neural ranking model captures the subtle notion of relevance. Our interpretation method and visualization results can be used for snippet generation and user-query intent analysis.

研究动机与目标

• 为解决神经排序模型（NRMs）缺乏可解释性的问题，这些模型结构复杂，常被视为黑箱。
• 通过适配计算机视觉中已验证的归因方法Grad-CAM，实现在模型内部直接、自省式的NRM决策解释。
• 提供关于为何某些文档被高排名的可操作洞察，支持摘要生成和查询意图分析等应用。
• 通过统计方法验证，真实文档相较于负样本文档在Grad-CAM激活模式上具有显著差异。

提出的方法

• 通过将最终排序分数作为目标激活，将基于梯度的归因方法Grad-CAM适配至神经排序模型。
• 通过对最后一层卷积层的特征图从最终排序分数反向传播的梯度进行全局平均池化，计算重要性权重αₖ。
• 生成一个定位图L ∈ ℝ^{u×v}，量化每个（查询词i，文档词j）对匹配分数的贡献。
• 利用定位图L，为每个文档提取高贡献（有效）词和低贡献（被过滤）词，以增强可解释性。
• 将定位图应用于生成与查询相关的摘要，通过从文档中选取高激活跨度实现。
• 使用峰度（Kurt(L)）和总贡献（∑∑Lᵢⱼ）进行统计分析，比较真实文档与负样本文档。

实验结果

研究问题

• RQ1 对于给定查询，文档的哪些组成部分对排序分数贡献最大？
• RQ2 在神经排序模型中，真实文档的激活模式与负样本文档有何不同？
• RQ3 基于Grad-CAM的归因能否提升自动生成摘要的相关性？
• RQ4 Grad-CAM在多大程度上能揭示细微的查询意图，例如聚焦于‘infection’而非‘prevention’？

主要发现

• 78.37%的评估者更偏好使用Grad-CAM生成的摘要，表明其相关性更高。
• 真实文档的峰度（Kurt(L)）和贡献总和（∑∑Lᵢⱼ）显著高于负样本文档（p < 0.0001）。
• 该方法成功识别出如‘infection’和‘transmitted’等有效词，以及如‘prevention’等被过滤的词，反映出对查询意图的细致捕捉。
• 对于查询‘what kind of oil is good for dry hair’，模型正确优先考虑了‘scalp’和‘sandalwood’，而非‘fragrance’和‘aromatherapy’。
• 定位图支持对词级贡献的定性分析，揭示模型不仅捕捉词汇重叠，还捕捉语义相关性。
• 激活模式的统计差异证实，真实文档具有更集中、高影响力的词交互模式。