[论文解读] Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection

Michael Tsang, Dehua Cheng+4 more|arXiv (Cornell University)|Jun 19, 2020

Explainable Artificial Intelligence (XAI)被引用 16

一句话总结

本文提出 GLIDER 方法，通过神经交互检测（Neural Interaction Detection）与 LIME 技术，检测黑箱推荐系统中的全局特征交互，并将这些交互显式编码至目标模型中，实现特征交叉，从而提升模型预测精度并提供可解释、可操作的洞察。该方法在推荐、文本、图像及 DNA 建模任务中均表现出色。

ABSTRACT

Recommendation is a prevalent application of machine learning that affects many users; therefore, it is important for recommender models to be accurate and interpretable. In this work, we propose a method to both interpret and augment the predictions of black-box recommender systems. In particular, we propose to interpret feature interactions from a source recommender model and explicitly encode these interactions in a target recommender model, where both source and target models are black-boxes. By not assuming the structure of the recommender system, our approach can be used in general settings. In our experiments, we focus on a prominent use of machine learning recommendation: ad-click prediction. We found that our interaction interpretations are both informative and predictive, e.g., significantly outperforming existing recommender models. What's more, the same approach to interpret interactions can provide new insights into domains even beyond recommendation, such as text and image classification.

研究动机与目标

• 解决现实应用中复杂黑箱推荐系统（如广告点击率预测）缺乏可解释性的问题。
• 开发一种通用方法，无需访问模型架构即可检测并编码有意义的特征交互。
• 通过将检测到的全局交互作为显式特征输入目标模型，提升推荐系统的预测准确性。
• 验证所检测交互的可解释性与实用性，其有效性不仅限于推荐系统，还可推广至自然语言处理、计算机视觉与基因组学等领域。

提出的方法

• 利用 LIME 结合数据实例扰动，生成源黑箱模型中特征交互的局部、实例级解释。
• 应用神经交互检测（NID）识别在多个数据实例中持续出现的交互，形成全局交互模式。
• 对数据集中重复出现的交互模式进行聚合，提取稳定且具有全局相关性的特征交互。
• 通过稀疏特征交叉将检测到的全局交互编码至目标推荐模型中，实现自动特征工程。
• 采用两阶段框架：(1) 通过扰动与局部解释进行交互检测；(2) 在新模型中进行全局聚合与编码。
• 使用一致性阈值（如重叠系数 ≥0.5）合并相似交互，降低解释中的冗余性。

实验结果

研究问题

• RQ1 能否以全局且稳定的方式，有意义地解释和提取黑箱推荐模型所学习到的特征交互？
• RQ2 检测到的全局交互是否能提升目标推荐模型的预测性能？
• RQ3 该方法生成的解释在文本、图像与 DNA 建模等多样化领域中是否具有信息量且语义合理？
• RQ4 与 LIME 等基线方法相比，所检测的交互在可解释性与预测能力方面表现如何？

主要发现

• GLIDER 生成的交互解释在广告点击率预测任务中显著优于现有推荐模型，其中交互检测模块 MADEX 在 Criteo 数据集上达到 1.7±0.1 AUC。
• 通过显式编码检测到的全局交互，该方法显著提升了预测性能，降低了下游模型的误差率。
• 在图像分类任务中，GLIDER 检测到 LIME 主效应所遗漏的关键互补区域（如鲨鱼鳍），展现出更优的可解释性。
• 在文本分类任务中，GLIDER 识别出具有语义意义的词语交互，如“never, fails”与“absolutely, no”，其信息量高于单一特征归因。
• 在 DNA 建模任务中，GLIDER 以 97.3% 的一致性检测到经典的“CACGTG”核苷酸交互，证实其生物学相关性。
• 该方法在推荐之外的任务中也表现出良好泛化能力，在图神经网络、图像与 DNA 建模任务中均实现了稳定且有意义的交互检测。