[论文解读] Click-Through Rate Prediction Using Graph Neural Networks and Online Learning

Farzaneh Rajabi, Jack Siyuan He|arXiv (Cornell University)|May 9, 2021

Image and Video Quality Assessment参考文献 18被引用 4

一句话总结

该论文提出了一种基于图神经网络（GNN）的点击率（CTR）预测模型，通过在线学习增强，以捕捉动态的用户-物品交互。通过图结构建模特征交互并实时适应，该方法在子采样的Criteo数据集上实现了0.7585的测试AUC，优于离线GNN和DeepFM基线模型。

ABSTRACT

Recommendation systems have been extensively studied by many literature in the past and are ubiquitous in online advertisement, shopping industry/e-commerce, query suggestions in search engines, and friend recommendation in social networks. Moreover, restaurant/music/product/movie/news/app recommendations are only a few of the applications of a recommender system. A small percent improvement on the CTR prediction accuracy has been mentioned to add millions of dollars of revenue to the advertisement industry. Click-Through-Rate (CTR) prediction is a special version of recommender system in which the goal is predicting whether or not a user is going to click on a recommended item. A content-based recommendation approach takes into account the past history of the user's behavior, i.e. the recommended products and the users reaction to them. So, a personalized model that recommends the right item to the right user at the right time is the key to building such a model. On the other hand, the so-called collaborative filtering approach incorporates the click history of the users who are very similar to a particular user, thereby helping the recommender to come up with a more confident prediction for that particular user by leveraging the wider knowledge of users who share their taste in a connected network of users. In this project, we are interested in building a CTR predictor using Graph Neural Networks complemented by an online learning algorithm that models such dynamic interactions. By framing the problem as a binary classification task, we have evaluated this system both on the offline models (GNN, Deep Factorization Machines) with test-AUC of 0.7417 and on the online learning model with test-AUC of 0.7585 using a sub-sampled version of Criteo public dataset consisting of 10,000 data points.

研究动机与目标

• 通过建模动态的用户-推荐系统交互，弥合CTR预测中离线评估指标与在线性能之间的差距。
• 通过图神经网络显式建模高阶特征交互，提升CTR预测的准确性。
• 整合在线学习，实现实时模型参数更新，以适应用户行为的演变。
• 通过结合可解释的分解技术与动态学习，克服静态离线模型和黑箱深度学习的局限性。
• 开发一种可扩展且自适应的推荐系统，平衡准确性、可解释性与对用户反馈的响应能力。

提出的方法

• 将多字段类别特征表示为异构图中的节点，其中边编码特征交互。
• 应用图交互网络（GIN）变体，通过消息传递聚合邻域信息，并更新节点表示。
• 通过使用最近用户交互的滑动窗口进行随机梯度更新，实现在线学习，以实时调整模型参数。
• 结合GNN建模高阶特征交互的能力与轻量级在线更新规则，以保持模型的相关性。
• 采用二元交叉熵损失函数进行端到端的GNN训练，使用Adam优化器并配合学习率调度。
• 应用基于阈值的推理（例如0.3），将预测的点击概率转换为Top-K推荐结果。

实验结果

研究问题

• RQ1 基于GNN的CTR模型若结合在线微调，是否能在真实世界的动态环境中超越静态离线模型？
• RQ2 通过图结构建模的高阶特征交互，相较于一阶和二阶方法，如何提升CTR预测性能？
• RQ3 在线学习在多大程度上提升了模型的泛化能力，并增强了与在线A/B测试结果的一致性？
• RQ4 数据不平衡与类别偏移对模型性能有何影响？在CTR预测中应如何缓解？
• RQ5 结合GNN与在线学习的混合模型，是否能在AUC和召回率上优于DeepFM和仅使用GNN的基线模型？

主要发现

• 增强在线学习的GNN模型实现了0.7585的测试AUC，优于离线GNN（0.7417）和DeepFM基线模型。
• 通过持续的在线更新，模型对概念漂移表现出更强的鲁棒性，能够适应新的用户行为模式。
• 尽管存在严重的类别不平衡（负样本准确率：0.96），模型在最优阈值（0.3）下仍保持了相对较高的F1分数，表明对偏斜数据具有良好的处理能力。
• 混淆矩阵显示假阴性率较高，证实了数据不平衡的持续挑战，可通过重采样或类别加权加以缓解。
• 模型的召回率显著低于基线，表明未来工作应优先通过数据重平衡和阈值调优来提升召回率。
• 对GNN组件（如逐边注意力、残差连接）的消融实验表明，可进一步提升AUC，但此工作留待未来研究。