[论文解读] Explaining Latent Factor Models for Recommendation with Influence Functions

Weiyu Cheng, Yanyan Shen+2 more|arXiv (Cornell University)|Nov 20, 2018

Recommender Systems and Techniques参考文献 34被引用 4

一句话总结

该论文提出FIA，一种快速影响分析方法，使潜在因子模型（LFMs）如矩阵分解和神经协同过滤能够生成类似邻居的解释，而无需依赖辅助数据。通过利用稳健统计中的影响函数，FIA识别出塑造模型预测的最具影响力的训练评分，相较于基线方法实现高达2,411倍的加速，同时提供可解释且用户友好的解释。

ABSTRACT

Latent factor models (LFMs) such as matrix factorization achieve the state-of-the-art performance among various Collaborative Filtering (CF) approaches for recommendation. Despite the high recommendation accuracy of LFMs, a critical issue to be resolved is the lack of explainability. Extensive efforts have been made in the literature to incorporate explainability into LFMs. However, they either rely on auxiliary information which may not be available in practice, or fail to provide easy-to-understand explanations. In this paper, we propose a fast influence analysis method named FIA, which successfully enforces explicit neighbor-style explanations to LFMs with the technique of influence functions stemmed from robust statistics. We first describe how to employ influence functions to LFMs to deliver neighbor-style explanations. Then we develop a novel influence computation algorithm for matrix factorization with high efficiency. We further extend it to the more general neural collaborative filtering and introduce an approximation algorithm to accelerate influence analysis over neural network models. Experimental results on real datasets demonstrate the correctness, efficiency and usefulness of our proposed method.

研究动机与目标

• 为解决当前最先进的潜在因子模型（LFMs）如矩阵分解和神经协同过滤中存在的可解释性不足问题。
• 开发一种通用的解释方法，不依赖用户评论或物品特征等辅助信息。
• 通过识别最具影响力的训练评分，使潜在因子模型能够生成类似邻居的解释——例如，“这个物品与你之前喜欢的物品相似”。
• 设计一种适用于大规模推荐系统、具备高可扩展性的高效影响计算算法。

提出的方法

• FIA利用稳健统计中的影响函数，量化每个训练评分（用户、物品、评分）对给定测试用户-物品对的模型预测的影响程度。
• 对于矩阵分解，FIA通过损失函数的Hessian矩阵推导出影响分数的闭式近似，实现无需迭代微调的高效计算。
• 对于神经协同过滤（NCF），FIA采用随机近似方法高效估算影响分数，显著降低计算成本，同时保持高精度。
• 该方法从用户历史或物品评分历史中识别出最具有影响力的前k个训练评分，以生成基于物品或基于用户的解释。
• 影响分数被计算为模型预测对移除某一训练样本的梯度，从而实现对预测影响的精确归因。
• 该方法与模型架构无关，可直接应用于多种潜在因子模型变体（如MF和NCF），无需修改网络结构。

实验结果

研究问题

• RQ1 影响函数能否有效用于推荐系统中潜在因子模型的邻居式解释？
• RQ2 如何使影响分析在计算上足够高效，以支持大规模推荐系统的真实部署？
• RQ3 FIA能否在不依赖评论或物品特征等辅助数据的情况下，提供准确且直观的解释？
• RQ4 训练样本的影响分布如何影响模型预测？它能揭示关于模型行为的哪些洞察？

主要发现

• 在矩阵分解中，FIA相较于基线影响计算（IA）实现高达2,411倍的加速，且无论潜在因子维度如何，运行时间均低于5秒。
• 在神经协同过滤中，FIA相较IA实现1,752倍的加速，展现出对基于深度学习推荐系统的强大可扩展性。
• 影响分数高度集中：仅一小部分训练评分（例如前6名）显著影响预测结果，表明影响模式具有稀疏性。
• 在基于物品的解释中，最具影响力的评分在语义上具有一致性——例如，对于《狮子王》（1994），最具影响力的物品也是动画喜剧类，证实了直观的相关性。
• 影响值的分布以零为中心，大多数评分影响可忽略不计，表明仅有少数评分驱动了预测结果。
• FIA成功生成人类可读的、类似邻居的解释，例如：“我们预测您会对这部电影打分，因为您之前曾对这些相似的物品给予高分”。