[论文解读] Interpretable Learning-to-Rank with Generalized Additive Models

Honglei Zhuang, Xuanhui Wang+8 more|arXiv (Cornell University)|May 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 56被引用 5

一句话总结

本文提出了神经排序广义可加模型（RankGAMs），这是一种新颖的内在可解释性学习排序框架，通过神经网络将项目级特征和列表级特征建模为加法子模型。该方法在基准数据集上实现了最先进性能，同时保持了完全的可解释性，并通过将模型蒸馏为分段线性函数，进一步提升了推理效率，且精度损失极小。

ABSTRACT

Interpretability of learning-to-rank models is a crucial yet relatively under-examined research area. Recent progress on interpretable ranking models largely focuses on generating post-hoc explanations for existing black-box ranking models, whereas the alternative option of building an intrinsically interpretable ranking model with transparent and self-explainable structure remains unexplored. Developing fully-understandable ranking models is necessary in some scenarios (e.g., due to legal or policy constraints) where post-hoc methods cannot provide sufficiently accurate explanations. In this paper, we lay the groundwork for intrinsically interpretable learning-to-rank by introducing generalized additive models (GAMs) into ranking tasks. Generalized additive models (GAMs) are intrinsically interpretable machine learning models and have been extensively studied on regression and classification tasks. We study how to extend GAMs into ranking models which can handle both item-level and list-level features and propose a novel formulation of ranking GAMs. To instantiate ranking GAMs, we employ neural networks instead of traditional splines or regression trees. We also show that our neural ranking GAMs can be distilled into a set of simple and compact piece-wise linear functions that are much more efficient to evaluate with little accuracy loss. We conduct experiments on three data sets and show that our proposed neural ranking GAMs can achieve significantly better performance than other traditional GAM baselines while maintaining similar interpretability.

研究动机与目标

• 开发一种内在可解释的学习排序模型，具备透明性和自解释性，以解决事后解释方法的局限性。
• 通过同时处理项目级特征和列表级上下文特征，将广义可加模型（GAMs）扩展至排序任务。
• 通过将复杂神经子模型蒸馏为紧凑的分段线性函数，提升模型效率，同时不损失精度。
• 证明在高风险应用场景中，可解释性与高性能可在排序模型中并存。
• 探索可解释模型如何为黑箱深度学习模型提供洞见并提升其性能。

提出的方法

• 提出了一种新的排序GAMs公式，通过加法子模型结合项目级特征和列表级上下文特征。
• 使用前馈神经网络作为子模型，捕捉单个特征与排序分数之间的非线性关系。
• 应用知识蒸馏技术，将训练好的神经子模型转换为简单、高效且可解释的分段线性函数。
• 采用针对排序任务的训练目标，优化标准LTR指标（如NDCG）。
• 通过允许列表级特征调节子模型权重，实现上下文相关的特征重要性。
• 使用随机梯度下降端到端训练模型，将子模型输出相加以生成最终排序分数。

实验结果

研究问题

• RQ1 广义可加模型能否有效适配涉及项目级和列表级特征的学习排序任务？
• RQ2 神经网络能否在基于GAM的排序框架中作为灵活且可解释的子模型？
• RQ3 从神经子模型到分段线性函数的知识蒸馏是否能在保持性能的同时提升推理速度？
• RQ4 内在可解释模型能否在保持透明性的同时，优于传统GAM基线模型的排序性能？
• RQ5 可解释模型中的洞见能否提升黑箱深度神经网络在排序任务中的性能？

主要发现

• Neural RankGAMs在三个基准数据集上的NDCG得分显著优于传统GAM基线模型，包括在YAHOO数据集上NDCG@1提升了4.5%。
• 蒸馏将推理时间最多减少90%——在YAHOO数据集上，从47ms降至3ms/查询，同时保持近乎相同的性能。
• 在WEB30K数据集上，蒸馏后的模型达到44.15的NDCG@10，接近原始模型的45.09，表明蒸馏后精度损失极小。
• 当子模型容量适中时（例如，隐藏层维度为(16,8)），模型性能趋于饱和，表明高复杂度并非必需。
• 将Neural RankGAM子模型输出与深度前馈网络结合的混合模型在WEB30K数据集上达到48.21的NDCG@10，比独立的DNN模型高出0.9分。
• 消融研究证实，列表级上下文特征显著提升了排序性能，验证了模型利用上下文信息的能力。