[论文解读] From Intrinsic to Counterfactual: On the Explainability of Contextualized Recommender Systems

Yao Zhou, Haonan Wang+2 more|arXiv (Cornell University)|Oct 28, 2021

Recommender Systems and Techniques参考文献 49被引用 10

一句话总结

本文提出了一种可解释推荐系统层次结构——白盒（基于注意力机制）、灰盒（对抗性扰动）和黑盒（反事实扰动）——利用用户评论等上下文特征，在不牺牲排序性能的前提下提升模型的透明度。反事实模型（CNR）在推荐准确率与可解释性之间实现了最佳平衡，在定量指标和定性可视化方面均优于其他模型。

ABSTRACT

With the prevalence of deep learning based embedding approaches, recommender systems have become a proven and indispensable tool in various information filtering applications. However, many of them remain difficult to diagnose what aspects of the deep models' input drive the final ranking decision, thus, they cannot often be understood by human stakeholders. In this paper, we investigate the dilemma between recommendation and explainability, and show that by utilizing the contextual features (e.g., item reviews from users), we can design a series of explainable recommender systems without sacrificing their performance. In particular, we propose three types of explainable recommendation strategies with gradual change of model transparency: whitebox, graybox, and blackbox. Each strategy explains its ranking decisions via different mechanisms: attention weights, adversarial perturbations, and counterfactual perturbations. We apply these explainable models on five real-world data sets under the contextualized setting where users and items have explicit interactions. The empirical results show that our model achieves highly competitive ranking performance, and generates accurate and effective explanations in terms of numerous quantitative metrics and qualitative visualizations.

研究动机与目标

• 为应对深度学习推荐系统中日益增长的可解释性需求，尤其是在性能提升但透明度下降的背景下。
• 研究如何利用上下文特征（尤其是用户评论）生成人类可理解的排序决策解释。
• 设计并比较三种不同透明度水平的可解释性策略：白盒、灰盒和黑盒。
• 通过定量指标和定性可视化评估解释的有效性，确保模型行为与人类直觉一致。
• 识别一种在真实场景中能最优平衡推荐性能与解释质量的模型架构。

提出的方法

• 提出一种白盒模型（NAR），利用神经注意力机制显式突出影响排序决策的输入特征（例如，评论中的词语）。
• 引入一种灰盒模型（CAR），通过对抗性扰动输入特征来识别哪些变化最影响模型输出，尽管这些扰动本身并非天然可解释。
• 开发一种黑盒模型（CNR），利用反事实扰动——改变输入特征以观察其对排序的影响——生成事后、人类可理解的解释。
• 采用 t-SNE 可视化比较各模型解释向量的聚类情况，评估其与真实用户偏好的对齐程度。
• 通过解释向量与真实标签（GT）特征（如最高频的评论词语）之间的皮尔逊相关性分析，定量评估解释质量。
• 在五个真实世界数据集（如音乐、美妆、服装）上应用所有模型，数据包含显式用户-项目交互信息及评论等上下文特征。

实验结果

研究问题

• RQ1 能否有效利用用户评论等上下文特征，为基于深度学习的推荐系统生成准确且人类可理解的解释？
• RQ2 不同透明度水平（白盒、灰盒、黑盒）如何影响推荐性能与解释质量之间的权衡？
• RQ3 基于注意力、对抗性和反事实的解释方法在多大程度上与从评论内容中提取的真实用户偏好相关？
• RQ4 哪种解释策略在多样化的现实推荐场景中提供了最可靠且一致的解释？
• RQ5 具有反事实解释的黑盒模型是否能在保持强可解释性的同时实现高性能？

主要发现

• 反事实模型（CNR）在推荐性能与解释质量之间实现了最佳平衡，在定量和定性评估中均优于基于注意力机制（NAR）和对抗性（CAR）的模型。
• NAR 和 CNR 与真实标签解释（基于用户评论词语）表现出强相关性，而 CAR 相关性弱，表明其与人类可理解特征的对齐性差。
• t-SNE 可视化结果证实，CNR 的解释向量与真实用户聚类最接近，其次为 NAR，而 CAR 的解释最为分散。
• 所有模型的前 5 个解释词与真实标签差异显著，但随着 k 值增加（如前 10 或前 20），与 GT 特征的重叠逐渐增多，表明一致性增强。
• 对抗性模型（CAR）虽实现高推荐性能，但因对抗性扰动缺乏语义连贯性或与用户偏好不一致，无法生成有意义的解释。
• CNR 模型作为事后解释方法有效，可应用于任何现有排序架构，具有广泛的实际适用性。