[论文解读] FedCTR: Federated Native Ad CTR Prediction with Multi-Platform User Behavior Data

Chuhan Wu, Fangzhao Wu+3 more|arXiv (Cornell University)|Jul 23, 2020

Recommender Systems and Techniques参考文献 39被引用 5

一句话总结

FedCTR 提出了一种隐私保护的联邦学习框架，用于原生广告点击率（CTR）预测，通过联合建模跨平台行为数据中的用户兴趣，而无需集中式数据存储。它在平台级嵌入上使用本地差分隐私（LDP），在聚合嵌入上使用差分隐私（DP），即使在平台内行为数据有限的情况下也能实现最先进性能，同时有效保护用户隐私。

ABSTRACT

Native ad is a popular type of online advertisement which has similar forms with the native content displayed on websites. Native ad CTR prediction is useful for improving user experience and platform revenue. However, it is challenging due to the lack of explicit user intent, and users' behaviors on the platform with native ads may not be sufficient to infer their interest in ads. Fortunately, user behaviors exist on many online platforms and they can provide complementary information for user interest mining. Thus, leveraging multi-platform user behaviors is useful for native ad CTR prediction. However, user behaviors are highly privacy-sensitive and the behavior data on different platforms cannot be directly aggregated due to user privacy concerns and data protection regulations like GDPR. Existing CTR prediction methods usually require centralized storage of user behavior data for user modeling and cannot be directly applied to the CTR prediction task with multi-platform user behaviors. In this paper, we propose a federated native ad CTR prediction method named FedCTR, which can learn user interest representations from their behaviors on multiple platforms in a privacy-preserving way. On each platform a local user model is used to learn user embeddings from the local user behaviors on that platform. The local user embeddings from different platforms are uploaded to a server for aggregation, and the aggregated user embeddings are sent to the ad platform for CTR prediction. Besides, we apply LDP and DP techniques to the local and aggregated user embeddings respectively for better privacy protection. Moreover, we propose a federated framework for model training with distributed models and user behaviors. Extensive experiments on real-world dataset show that FedCTR can effectively leverage multi-platform user behaviors for native ad CTR prediction in a privacy-preserving manner.

研究动机与目标

• 解决由于缺乏明确用户意图以及平台内行为数据不足导致的原生广告 CTR 预测准确率低的问题。
• 在不集中收集数据的前提下，实现对多平台用户行为的有效用户兴趣建模，符合 GDPR 等隐私法规要求。
• 开发一种联邦学习框架，协调来自多个平台的分布式用户嵌入，同时在本地和聚合层面保护用户隐私。
• 评估在本地和聚合嵌入上应用 LDP 和 DP 技术时，CTR 预测性能与隐私保护之间的权衡。

提出的方法

• 每个平台在其自身的行为日志上训练本地用户模型，以学习用户嵌入，数据保留在本地。
• 本地用户嵌入上传至中央用户服务器进行聚合，采用基于注意力的聚合器，以建模各平台贡献的信息量。
• 使用本地差分隐私（LDP）保护本地嵌入，防止从上传的嵌入中推断出原始用户行为。
• 对聚合后的嵌入进一步应用差分隐私（DP），以确保联合用户表示的隐私性。
• 采用联邦训练框架在各平台之间共享模型梯度，而非原始行为数据，从而在不泄露数据的前提下实现协同模型训练。
• 最终的 CTR 预测通过聚合用户嵌入与广告特征之间的点积交互层完成，其性能优于其他评分机制。

实验结果

研究问题

• RQ1 当平台内行为数据有限时，能否有效利用多平台用户行为数据进行原生广告 CTR 预测？
• RQ2 在聚合具有敏感行为日志的多个平台用户嵌入时，如何保护用户隐私？
• RQ3 在对本地和聚合嵌入应用 LDP 和 DP 技术时，CTR 预测性能与隐私保护之间的最优权衡是什么？
• RQ4 在联邦 CTR 预测设置中，哪些聚合与评分机制（例如注意力机制、点积）能取得最佳性能？

主要发现

• 所提出的 FedCTR 框架通过有效整合多平台用户行为数据，在平台内行为数据稀缺的情况下实现了卓越的 CTR 预测性能。
• 用户嵌入与广告特征之间采用点积交互层可获得最佳 CTR 预测性能，优于 FM、全连接层和外积机制。
• 基于注意力的聚合器显著优于平均池化、最大池化和拼接方法，因其能有效建模各平台本地嵌入的信息量。
• 采用适中的 LDP 参数（λ_LDP = 0.01）和 DP 参数（λ_DP = 0.005）可在隐私保护与预测准确性之间实现良好平衡。
• 聚合后的用户嵌入比本地嵌入更难被逆向工程，表明聚合通过模糊平台特定行为模式增强了隐私保护。