[论文解读] Multi-Manifold Learning for Large-scale Targeted Advertising System

Kyuyong Shin, Youngjin Park+2 more|arXiv (Cornell University)|Jul 5, 2020

Complex Network Analysis Techniques参考文献 26被引用 6

一句话总结

本文提出多流形学习（Multi-Manifold Learning），一种超球面表示框架，通过在多个可学习的超球面流形上建模用户与广告嵌入，每个流形以用户聚类中心为基准。通过利用用户-广告交互中的层次结构，该方法在公共数据集和工业级数据集上均优于欧氏空间和单一流形基线，显著提升了预测准确率与推荐多样性。

ABSTRACT

Messenger advertisements (ads) give direct and personal user experience yielding high conversion rates and sales. However, people are skeptical about ads and sometimes perceive them as spam, which eventually leads to a decrease in user satisfaction. Targeted advertising, which serves ads to individuals who may exhibit interest in a particular advertising message, is strongly required. The key to the success of precise user targeting lies in learning the accurate user and ad representation in the embedding space. Most of the previous studies have limited the representation learning in the Euclidean space, but recent studies have suggested hyperbolic manifold learning for the distinct projection of complex network properties emerging from real-world datasets such as social networks, recommender systems, and advertising. We propose a framework that can effectively learn the hierarchical structure in users and ads on the hyperbolic space, and extend to the Multi-Manifold Learning. Our method constructs multiple hyperbolic manifolds with learnable curvatures and maps the representation of user and ad to each manifold. The origin of each manifold is set as the centroid of each user cluster. The user preference for each ad is estimated using the distance between two entities in the hyperbolic space, and the final prediction is determined by aggregating the values calculated from the learned multiple manifolds. We evaluate our method on public benchmark datasets and a large-scale commercial messenger system LINE, and demonstrate its effectiveness through improved performance.

研究动机与目标

• 为解决欧氏空间在捕捉大规模精准广告中用户-广告层次关系方面的局限性。
• 克服现有超球面嵌入方法中单一流形假设的不足，该假设无法有效建模多样化的用户偏好群体。
• 通过构建多个以用户聚类中心为基准的超球面流形，提升表征学习能力。
• 通过流形特定的距离度量偏好估计，同时提升用户定位的预测准确率与多样性。
• 在真实世界工业数据与公开基准上验证该框架，证明其在单一领域之外的泛化能力。

提出的方法

• 该框架构建多个超球面流形，每个流形具有可学习的曲率，其基准为基于用户嵌入聚类所得的用户聚类中心。
• 使用共享权重的共享神经网络编码器，将用户与广告表征映射至各流形的超球面空间中。
• 用户对某广告的偏好通过其在每个超球面流形中嵌入的测地线距离进行估计。
• 最终预测得分通过聚合所有流形上的偏好得分获得，实现用户偏好的多视角建模。
• 采用基于边距的排序损失进行端到端训练，以优化点击率预测目标。
• 在构建流形前对用户嵌入进行聚类，且通过消融实验调优聚类数量。

实验结果

研究问题

• RQ1 与单一流形或欧氏基线相比，跨多个超球面流形建模用户与广告表征，是否能提升精准广告中的预测准确率？
• RQ2 通过以用户聚类为中心的多个流形，如何增强用户-广告表征的多样性与表达能力？
• RQ3 所提出的多流形学习框架是否能在真实世界工业系统与公开基准上实现泛化，而不仅限于单一数据集？
• RQ4 用户聚类数量如何影响推荐系统的性能与多样性？
• RQ5 在广告系统中，超球几何时是否能比欧氏空间更有效地捕捉用户偏好的层次结构？

主要发现

• 所提出的多流形学习框架在LINE消息平台与MovieLens基准测试中，所有指标（RocAuc、Accuracy、Average Precision、Shannon Entropy）均表现最佳。
• 该模型取得最高的Shannon Entropy得分，表明其在推荐用户群体方面具有更优的多样性，有助于降低垃圾信息感知并提升用户满意度。
• 随着聚类数增加至T=5，性能持续提升；此后准确率趋于稳定，而多样性继续增长，因此T=5被确定为最优设置。
• 嵌入可视化结果表明，相关广告被拉向各流形中心，而无关广告则被推至边缘，验证了有效层次结构的学习。
• 在MovieLens数据集上，该模型表现最佳或位列第二，证明其在工业数据集之外也具备强大泛化能力。
• 与MLP和HNN基线相比，所提方法在准确率与多样性方面均取得显著提升，验证了多流形超球面学习的有效性。