[论文解读] Mitigating Hidden Confounding Effects for Causal Recommendation

Xinyuan Zhu, Yang Zhang+4 more|arXiv (Cornell University)|May 16, 2022

Recommender Systems and Techniques被引用 8

一句话总结

本文提出了一种隐性混杂因子消除（HCR）框架，通过利用前门调整方法，将物品特征对用户反馈的因果效应通过可识别的中介变量进行分解，从而缓解推荐系统中未观测到的混杂偏差。实验结果表明，HCR在三个真实世界数据集上均提升了推荐准确率，尤其对活跃度较低的用户效果更显著。

ABSTRACT

Recommender systems suffer from confounding biases when there exist confounders affecting both item features and user feedback (e.g., like or not). Existing causal recommendation methods typically assume confounders are fully observed and measured, forgoing the possible existence of hidden confounders in real applications. For instance, product quality is a confounder since affecting both item prices and user ratings, but is hidden for the third-party e-commerce platform due to the difficulty of large-scale quality inspection; ignoring it could result in the bias effect of over-recommending high-price items. This work analyzes and addresses the problem from a causal perspective. The key lies in modeling the causal effect of item features on a user's feedback. To mitigate hidden confounding effects, it is compulsory but challenging to estimate the causal effect without measuring the confounder. Towards this goal, we propose a Hidden Confounder Removal (HCR) framework that leverages front-door adjustment to decompose the causal effect into two partial effects, according to the mediators between item features and user feedback. The partial effects are independent from the hidden confounder and identifiable. During training, HCR performs multi-task learning to infer the partial effects from historical interactions. We instantiate HCR for two scenarios and conduct experiments on three real-world datasets. Empirical results show that the HCR framework provides more accurate recommendations, especially for less-active users. We will release the code once accepted.

研究动机与目标

• 为解决推荐系统中隐性混杂因子带来的关键挑战，即混杂因子（如产品质量或新闻事件）同时影响物品特征和用户反馈，但又无法被直接观测。
• 开发一种通用的因果推荐框架，无需直接测量隐性混杂因子，克服基于后门调整或逆倾向得分加权方法的局限性。
• 在未观测到混杂因子的情况下，实现对干预分布 $ P(L|U, do(I)) $——即物品特征对用户反馈的因果效应——的准确估计。
• 通过消除由隐性混杂因子引发的虚假相关性（如因未测量的质量而过度推荐高价商品），提升推荐的公平性与鲁棒性。

提出的方法

• HCR框架应用前门调整，将物品特征 $ I $ 对用户反馈 $ L $ 的总因果效应分解为两个可识别的局部效应：$ P(M|U, do(I)) $（$ I $ 对中介变量 $ M $ 的影响）和 $ P(L|U, do(M)) $（$ M $ 对 $ L $ 的影响）。
• 中介变量 $ M $（如用户-物品交互信号（例如点击）或中间反馈）被识别为物品特征与用户反馈之间的因果桥梁。
• 框架在训练过程中执行多任务学习，联合估计两个局部效应，仅依赖于无需观测隐性混杂因子 $ V $ 即可识别的条件概率。
• HCR具有模型无关性，并在电商和短视频推荐场景中基于MMGCN模型实现，展示了其在不同推荐场景中的适应能力。
• 该方法避免显式建模隐性混杂因子 $ V $，转而依赖前门准则，通过中介作用阻断后门路径 $ I \rightarrow V \rightarrow L $。
• 该框架确保两个局部效应均与隐性混杂因子无关，因此仅凭观测数据即可进行估计。

实验结果

研究问题

• RQ1 当混杂因子未被观测且无法直接测量时，我们能否估计物品特征对用户反馈的因果效应？
• RQ2 当推荐系统中存在隐性混杂因子时，前门调整是否可作为后门调整或IPW的可行替代方案？
• RQ3 所提出的HCR框架能否在存在隐性混杂因子的情况下，提升推荐准确率与公平性，尤其是对活跃度较低的用户？
• RQ4 物品特征与用户反馈之间的中介变量如何在未观测到隐性混杂因子的情况下实现因果效应的识别？
• RQ5 HCR在多大程度上能缓解虚假相关性（如因未测量的产品质量而过度推荐高价商品）？

主要发现

• HCR通过利用前门调整，成功缓解了因果推荐中的隐性混杂偏差，实现了在未观测到混杂因子的情况下对 $ P(L|U, do(I)) $ 的估计。
• 在三个真实世界数据集上的实证评估表明，HCR提升了推荐准确率，尤其在活跃度较低的用户中表现显著提升。
• 与依赖后门调整或IPW的现有因果推荐方法相比，HCR表现更优，后者在混杂因子未被观测时失效。
• HCR的多任务学习方法能有效从未观测的历史交互数据中学习两个局部效应 $ P(M|U, do(I)) $ 和 $ P(L|U, do(M)) $，即使未直接测量混杂因子。
• 该方法在不同推荐场景（包括电商和短视频推荐）中均表现出鲁棒性，证明其超越特定模型架构的泛化能力。
• 结果验证了消除隐性混杂效应可带来更公平、更可靠的推荐，减少因虚假相关性（如因未测量质量而过度推荐高价商品）导致的推荐偏差。