[论文解读] Breaking Feedback Loops in Recommender Systems with Causal Inference

Karl Krauth, Zhaoran Wang+1 more|arXiv (Cornell University)|Jul 4, 2022

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出CAFL（因果反馈回路调节），一种基于因果推断的方法，通过对其自身预测的调整来估计干预分布，从而打破推荐系统中的反馈回路。CAFL提升了推荐质量并减少了同质化现象，在模拟实验中相较次优方法实现了5.2%的相对MSE改进。

ABSTRACT

Recommender systems play a key role in shaping modern web ecosystems. These systems alternate between (1) making recommendations (2) collecting user responses to these recommendations, and (3) retraining the recommendation algorithm based on this feedback. During this process the recommender system influences the user behavioral data that is subsequently used to update it, thus creating a feedback loop. Recent work has shown that feedback loops may compromise recommendation quality and homogenize user behavior, raising ethical and performance concerns when deploying recommender systems. To address these issues, we propose the Causal Adjustment for Feedback Loops (CAFL), an algorithm that provably breaks feedback loops using causal inference and can be applied to any recommendation algorithm that optimizes a training loss. Our main observation is that a recommender system does not suffer from feedback loops if it reasons about causal quantities, namely the intervention distributions of recommendations on user ratings. Moreover, we can calculate this intervention distribution from observational data by adjusting for the recommender system's predictions of user preferences. Using simulated environments, we demonstrate that CAFL improves recommendation quality when compared to prior correction methods.

研究动机与目标

• 为解决反馈回路对推荐系统造成的负面影响，这些回路会扭曲用户行为数据并降低推荐质量。
• 将推荐系统在多个时间步长上的动态运行过程形式化为跨时间步的结构因果模型。
• 开发一种方法，使现有以损失最小化为目标的推荐算法能够在不依赖随机推荐或性能损失的前提下打破反馈回路。
• 证明因果推理——特别是干预分布——可以纠正由反馈回路引发的数据集偏差。
• 表明CAFL在常见因果假设（如可忽略性）被违反的情况下仍具鲁棒性，例如在一次性物品推荐等现实约束条件下依然适用。

提出的方法

• CAFL通过对其自身对用户偏好的预测进行调整来估计干预分布，而这些预测是反馈回路偏差的主要来源。
• 该方法使用重参数化的贝塔分布来建模用户和物品的潜在向量，从而能够真实模拟用户-物品交互行为。
• 它将因果调整应用于任何以损失最小化为目标的推荐算法的损失函数中，通过修改训练样本的权重而不改变模型架构。
• 该算法通过调整推荐系统对其自身预测偏好的影响，识别出可从观测数据中推断的干预分布。
• 它采用时间有序的模拟框架，其中推荐影响用户交互，而用户交互又反过来更新模型，从而形成反馈回路。
• CAFL通过基于估计的推荐系统预测倾向性对训练样本进行重加权来实现，从而有效解耦推荐与其对观测行为的因果影响。

实验结果

研究问题

• RQ1 能否在不降低推荐质量的前提下，利用因果推断打破推荐系统中的反馈回路？
• RQ2 通过调整推荐系统自身的预测，如何在存在反馈回路的情况下识别干预分布？
• RQ3 在动态推荐环境中，CAFL是否优于现有校正方法，能更有效地减少偏差并提升预测性能？
• RQ4 CAFL在多大程度上缓解了由反馈回路引起的行为同质化效应？
• RQ5 在现实推荐约束下，CAFL是否能在标准因果假设（如可忽略性）被违反时仍有效运行？

主要发现

• CAFL显著提升了预测性能，均方误差（MSE）达到1.818 ± 0.019，相较次优方法Pan等人（2021）的1.896 ± 0.042实现了5.2%的相对改进。
• CAFL将平均绝对误差（MAE）降低至1.015 ± 0.005，优于所有先前的校正方法，包括基于流行度的重加权和泊松因子分解。
• CAFL与Pan方法之间的MSE改进幅度大于Pan方法与泊松因子分解之间的改进幅度，表明CAFL实现了显著的性能提升。
• CAFL有效减少了推荐中的同质化现象，表明其能够隔离反馈效应，防止系统过度依赖热门或相似项目。
• 即使在标准可忽略性假设被违反的情况下（如每个用户只能被推荐一次物品），CAFL仍保持强劲性能，体现出其鲁棒性。
• 结果表明，模型归纳偏差和数据稀疏性对同质化的影响可能强于反馈回路本身，凸显了动态系统中偏差来源的复杂性。