[论文解读] PRINCE: Provider-side Interpretability with Counterfactual Explanations in Recommender Systems

Azin Ghazimatin, Oana Balalau+2 more|MPG.PuRe (Max Planck Society)|Nov 19, 2019

Topic Modeling被引用 13

一句话总结

PRINCE 提出了一种推荐系统中的提供方可解释性框架，通过使用反事实证据生成简洁、可操作的解释。它利用在动态异质信息网络（HIN）上基于个性化 PageRank 的评分机制，采用高效的多项式时间算法，识别出用户自身最少数量的操作（如购买、评分）的移除将改变最高推荐结果，从而在真实世界的 Amazon 和 Goodreads 数据集上实现最优且保护隐私的解释。

ABSTRACT

Interpretable explanations for recommender systems and other machine learning models are crucial to gain user trust. Prior works that have focused on paths connecting users and items in a heterogeneous network have several limitations, such as discovering relationships rather than true explanations, or disregarding other users' privacy. In this work, we take a fresh perspective, and present PRINCE: a provider-side mechanism to produce tangible explanations for end-users, where an explanation is defined to be a set of minimal actions performed by the user that, if removed, changes the recommendation to a different item. Given a recommendation, PRINCE uses a polynomial-time optimal algorithm for finding this minimal set of a user's actions from an exponential search space, based on random walks over dynamic graphs. Experiments on two real-world datasets show that PRINCE provides more compact explanations than intuitive baselines, and insights from a crowdsourced user-study demonstrate the viability of such action-based explanations. We thus posit that PRINCE produces scrutable, actionable, and concise explanations, owing to its use of counterfactual evidence, a user's own actions, and minimal sets, respectively.

研究动机与目标

• 解决推荐系统中缺乏可操作、保护隐私且由提供方控制的解释的问题。
• 克服基于路径的解释方法暴露其他用户私有行为或仅提供事后合理化解释的局限性。
• 基于用户自身行为，生成最小化、反事实的解释，确保清晰性和可信度。
• 设计一种高效算法，尽管用户操作集合的搜索空间呈指数级增长，仍能计算出导致推荐结果的最优最小操作集合。
• 通过用户研究和在真实世界数据集上的实证评估，验证基于操作的解释的有用性和可理解性。

提出的方法

• 将用户-物品交互建模为异质信息网络（HIN），其中用户、物品、评论和类别作为节点，购买、评分和类别关联等行为作为边。
• 在 HIN 上使用个性化 PageRank（PPR）计算推荐得分，利用随机游走来建模用户偏好和物品相关性。
• 采用反事实设置：识别出最小的用户操作集合（边），其移除将导致最高推荐结果变为另一个物品。
• 利用 PPR 得分的单调性和子模性特性，采用多项式时间最优算法，在指数级可能的操作子集空间中进行搜索。
• 通过动态图更新模拟边的移除并高效重新计算 PPR 得分，实现反事实解释的可扩展计算。
• 基于 PPR 敏感性设计剪枝策略，优先考虑候选操作集合，从而在不损失最优性的情况下减少计算开销。

实验结果

研究问题

• RQ1 提供方机制能否在基于 HIN 的推荐系统中生成最小化、可操作且保护隐私的解释？
• RQ2 与直观的启发式基线相比，若移除后会改变最高推荐结果的最小用户操作集合，在紧凑性和忠实度方面表现如何？
• RQ3 与基于路径或基于规则的解释相比，基于操作的反事实解释在多大程度上对终端用户更具用处且更易理解？
• RQ4 尽管用户操作集合的搜索空间呈指数级增长，能否设计出一种高效且最优的算法来计算此类最小操作集合？
• RQ5 在真实世界环境中，PRINCE 生成的解释与基线方法相比，在用户感知和解释质量方面表现如何？

主要发现

• PRINCE 生成的解释显著比直观基线更紧凑，仅包含改变最高推荐结果所需的最少用户操作集合。
• 该方法保证在找到最小可能操作集合方面具有最优性，优于无法识别真实最小集合的启发式方法。
• 通过 AMT Masters 进行的众包用户研究显示，PRINCE 生成的解释被认为比基线解释更具用处、更清晰、更具可操作性。
• PRINCE 生成的解释具备可理解性（scrutable）、可操作性（actionable）和简洁性（minimal set），满足有效可解释性的关键标准。
• 该算法以多项式时间高效计算反事实解释，使其可扩展应用于大型真实世界 HIN，如 Amazon 和 Goodreads 的数据集。
• 该方法通过仅依赖用户自身行为，避免了基于路径解释固有的隐私泄露问题，从未暴露其他用户的行为。