[论文解读] "Click" Is Not Equal to "Like": Counterfactual Recommendation for Mitigating Clickbait Issue.

Wenjie Wang, Fuli Feng+3 more|arXiv (Cornell University)|Sep 21, 2020

Recommender Systems and Techniques参考文献 57被引用 13

一句话总结

本文提出了一种反事实推荐框架，通过将用户点击建模为因果过程，隔离曝光特征（例如标题、封面）以估计在仅可见特征影响点击的反事实世界中点击的可能性，从而减轻点击诱饵现象。实验表明，通过减少对欺骗性内容的依赖，该方法显著提升了点击后的用户满意度。

ABSTRACT

Recommendation is a prevalent and critical service in information systems. To provide personalized suggestions to users, industry players embrace machine learning, more specifically, building predictive models based on the click behavior data. This is known as the Click-Through Rate (CTR) prediction, which has become the gold standard for building personalized recommendation service. However, we argue that there is a significant gap between clicks and user satisfaction -- it is common that a user is cheated to click an item by the attractive title/cover of the item. This will severely hurt user's trust on the system if the user finds the actual content of the clicked item disappointing. What's even worse, optimizing CTR models on such flawed data will result in the Matthew Effect, making the seemingly attractive but actually low-quality items be more frequently recommended. In this paper, we formulate the recommendation process as a causal graph that reflects the cause-effect factors in recommendation, and address the clickbait issue by performing counterfactual inference on the causal graph. We imagine a counterfactual world where each item has only exposure features (i.e., the features that the user can see before making a click decision). By estimating the click likelihood of a user in the counterfactual world, we are able to remove the effect of exposure features and eliminate the clickbait issue. Experiments on real-world datasets demonstrate that our method significantly improves the post-click satisfaction of CTR models.

研究动机与目标

• 为解决推荐系统中用户点击与实际满意度之间的差距问题，即欺骗性标题或封面导致误导性点击。
• 识别并缓解马太效应，即低质量但经过点击诱饵优化的项目因 CTR 优化而获得不公平的高人气。
• 通过将点击建模为不仅反映偏好，而是受操纵性曝光特征影响的结果，提升用户信任和系统的长期质量。
• 开发一种因果推断框架，估计在曝光特征与内容质量分离的反事实世界中，点击的可能性。
• 证明移除欺骗性曝光特征的影响可带来更准确且令人满意的推荐结果。

提出的方法

• 将推荐过程建模为因果图，以描述用户特征、曝光特征与点击之间的因果关系。
• 定义一个反事实世界，在该世界中，每个项目的点击可能性仅基于点击前可见的曝光特征进行估计。
• 使用反事实推理估计：若曝光特征被改变或移除，点击发生的概率，从而隔离其影响。
• 在反事实点击可能性上训练 CTR 模型，以减少对点击诱饵项目的偏见，提升公平性与满意度。
• 应用结构因果建模，将曝光特征的影响与实际内容质量在点击预测中分离。
• 利用真实世界数据集验证该方法在提升点击后满意度指标方面的有效性。

实验结果

研究问题

• RQ1 标题和封面等曝光特征在多大程度上扭曲 CTR 预测并导致用户满意度下降？
• RQ2 在因果图上进行反事实推理是否能有效隔离欺骗性曝光特征对点击的影响？
• RQ3 移除曝光特征的影响后，如何改善推荐系统中的点击后满意度？
• RQ4 所提出的方法是否能缓解马太效应，即因高点击率而使低质量项目被过度推荐？
• RQ5 反事实 CTR 模型是否能在保持或提升预测准确性的前提下，优于标准 CTR 模型，从而提升用户满意度？

主要发现

• 所提出的反事实推荐方法通过减少对欺骗性曝光特征的依赖，显著提升了点击后的用户满意度。
• 该方法有效缓解了马太效应，防止因点击诱饵而使低质量项目被过度推荐。
• 在真实世界数据集上的实验结果表明，反事实 CTR 模型相比基于原始点击数据训练的标准 CTR 模型，能带来更高的用户满意度。
• 通过在反事实世界中隔离曝光特征，模型实现了更准确且可信的点击预测。
• 因果建模方法成功地将视觉或文本操纵的影响与实际内容质量从推荐决策中解耦。
• 结果表明，当曝光特征具有欺骗性时，仅靠点击行为作为用户偏好的代理指标是极不可靠的。