[论文解读] Deconfounded Causal Collaborative Filtering

Shuyuan Xu, Juntao Tan+3 more|arXiv (Cornell University)|Oct 14, 2021

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出去混淆因果协同过滤（DCCF），一种新颖的框架，利用因果推断中的前门调整方法来消除协同过滤中的未观测混杂因素。通过将用户-项目交互建模为因果图并应用基于样本的前门调整，DCCF在真实世界数据集上实现了优于经典模型和现有去混淆模型的推荐性能，尤其在曝光概率准确估计时表现更优。

ABSTRACT

Recommender systems may be confounded by various types of confounding factors (also called confounders) that may lead to inaccurate recommendations and sacrificed recommendation performance. Current approaches to solving the problem usually design each specific model for each specific confounder. However, real-world systems may include a huge number of confounders and thus designing each specific model for each specific confounder could be unrealistic. More importantly, except for those ``explicit confounders'' that experts can manually identify and process such as item's position in the ranking list, there are also many ``latent confounders'' that are beyond the imagination of experts. For example, users' rating on a song may depend on their current mood or the current weather, and users' preference on ice creams may depend on the air temperature. Such latent confounders may be unobservable in the recorded training data. To solve the problem, we propose Deconfounded Causal Collaborative Filtering (DCCF). We first frame user behaviors with unobserved confounders into a causal graph, and then we design a front-door adjustment model carefully fused with machine learning to deconfound the influence of unobserved confounders. Experiments on real-world datasets show that our method is able to deconfound unobserved confounders to achieve better recommendation performance.

研究动机与目标

• 解决用户情绪或天气等未观测混杂因素对推荐系统中用户-项目偏好估计造成的偏差问题。
• 开发一种通用的、与模型无关的去混淆框架，无需手动识别每个混杂因素即可处理全局和个性化的潜在混杂因素。
• 通过减轻影响项目曝光和用户反馈的混杂因素引起的虚假相关性，提升推荐性能。
• 研究曝光概率估计精度对去混淆推荐性能的影响。
• 通过将因果推断技术应用于协同过滤，实现更准确和鲁棒的偏好估计。

提出的方法

• 作者使用因果图对存在未观测混杂因素的用户行为进行建模，其中混杂因素同时影响项目曝光（处理变量）和用户反馈（结果变量）。
• 应用前门调整来估计项目曝光对用户偏好的去混淆效应，从而在存在未观测混杂因素的情况下实现无偏估计。
• 为实现大规模项目集的可扩展性，该方法采用基于样本的前门调整方法，即在项目子集上而非全部项目上估计调整量。
• 曝光概率通过学习函数进行建模，模型性能在不同曝光估计策略（无偏、有偏、随机、均匀）下进行评估。
• 通过修改后的协同过滤目标函数计算去混淆偏好得分，该函数整合了前门调整公式以消除混杂因素的影响。
• 实验在数据划分存在偏斜和随机划分两种情况下，将DCCF与经典协同过滤模型及现有去混淆模型进行对比。

实验结果

研究问题

• RQ1 统一的去混淆框架是否能在无需事先识别每个混杂因素的情况下，有效缓解协同过滤中未观测混杂因素的影响？
• RQ2 曝光概率估计的准确性如何影响去混淆推荐模型的性能？
• RQ3 以基于样本的方式应用前门调整，是否能在扩展至大规模项目集的同时保持推荐准确率？
• RQ4 在存在全局和个性化混杂因素的情况下，DCCF与经典协同过滤模型及现有去混淆模型相比表现如何？
• RQ5 该方法在不同数据划分策略（如偏斜划分与随机划分）下是否具有泛化能力，同时保持稳健性能？

主要发现

• DCCF在真实世界数据集上优于经典协同过滤模型和现有去混淆模型，无论在数据划分偏斜还是随机的情况下均表现出更高的推荐准确率。
• DCCF的性能对曝光概率估计的准确性高度敏感，其中最准确的模型（DCCF_Unbias）达到了最高的nDCG@5得分。
• 当从数据中估计曝光概率时（DCCF_Bias），性能起初随采样项目数增加而提升，但随后因模型偏差而下降，表明不准确的曝光估计会损害去混淆效果。
• 随机和均匀曝光模型（DCCF_Random 和 DCCF_Uniform）随着样本量增加，性能单调下降，因为其引入了噪声并误导了前门调整。
• 不同曝光策略下模型性能的排序——DCCF_Unbias > DCCF_Bias > DCCF_Random/DCCF_Uniform——与曝光概率估计准确性的排序一致，证实了准确曝光建模的关键作用。
• 结果验证了结合准确曝光估计的前门调整能够有效去混淆全局和个性化的未观测混杂因素，从而实现更可靠的偏好估计。