[论文解读] Exploiting Behavioral Consistence for Universal User Representation

Jie Gu, Feng Wang+5 more|arXiv (Cornell University)|Dec 11, 2020

Recommender Systems and Techniques参考文献 21被引用 4

一句话总结

本文提出自监督用户建模网络（SUMN），一种通过利用用户交互中的行为一致性来学习通用用户表征的自监督框架。它引入了一种行为一致性损失以保留潜在用户因素，并设计了多跳聚合层以增强表征能力，在无需任务特定微调的情况下，在偏好预测和用户画像等下游任务上实现了最先进性能。

ABSTRACT

User modeling is critical for developing personalized services in industry. A common way for user modeling is to learn user representations that can be distinguished by their interests or preferences. In this work, we focus on developing universal user representation model. The obtained universal representations are expected to contain rich information, and be applicable to various downstream applications without further modifications (e.g., user preference prediction and user profiling). Accordingly, we can be free from the heavy work of training task-specific models for every downstream task as in previous works. In specific, we propose Self-supervised User Modeling Network (SUMN) to encode behavior data into the universal representation. It includes two key components. The first one is a new learning objective, which guides the model to fully identify and preserve valuable user information under a self-supervised learning framework. The other one is a multi-hop aggregation layer, which benefits the model capacity in aggregating diverse behaviors. Extensive experiments on benchmark datasets show that our approach can outperform state-of-the-art unsupervised representation methods, and even compete with supervised ones.

研究动机与目标

• 开发一种可泛化于多种下游任务的通用用户表征模型，且无需任务特定微调。
• 解决任务特定模型在泛化能力差和资源消耗高的局限性。
• 设计一种自监督学习目标，以捕捉长期用户行为的一致性。
• 通过增强聚合机制，提升对多样化、非一致用户行为的表征质量。
• 实现可迁移的、信息丰富的用户嵌入，适用于偏好预测和用户画像任务。

提出的方法

• 提出一种新颖的行为一致性损失，通过从输入行为序列预测目标行为频率，促使模型学习稳定的用户因素。
• 引入使用共享参数注意力机制的多跳聚合层，通过多跳迭代优化用户表征。
• 采用双分支输入结构：一个用于输入行为序列，另一个用于目标行为序列，两者均编码到共享的通用表征空间。
• 在大规模未标注用户日志上进行自监督预训练，避免在表征学习中依赖标注数据。
• 采用平均池化和最大池化作为消融实验基线，以评估多跳聚合设计的有效性。
• 使用主成分分析（PCA）可视化学习到的表征，以证明用户偏好聚类的合理性。

实验结果

研究问题

• RQ1 基于行为一致性的自监督目标能否提升通用用户表征学习？
• RQ2 多跳注意力聚合与简单池化相比，在总结多样化用户行为方面表现如何？
• RQ3 在无标签情况下学习的通用表征在偏好预测等下游任务上的泛化能力有多强？
• RQ4 缺乏显式序列建模是否影响性能？Transformer 是否能带来性能提升？
• RQ5 在未访问偏好标签的情况下，学习到的表征在多大程度上能按潜在偏好聚类用户？

主要发现

• SUMN 在工业数据集上的用户年龄预测准确率达到 64.47%，婴儿年龄预测准确率达到 72.17%，优于所有基线方法，包括监督方法。
• 多跳聚合层显著优于平均池化和最大池化，尤其在行为多样性高的用户中表现更优。
• 采用行为一致性损失的 SUMN 持续优于 SUMN-AE 和 SUMN-ID，证明了所提目标的有效性。
• 将多跳层替换为 Transformer 后性能提升不足 1%，表明显式序列建模对长期用户因素的收益有限。
• 通过 PCA 可视化显示，具有相同类别偏好的用户在嵌入空间中更紧密聚集，证实模型学习到了语义有意义的表征。
• 尽管仅在无标签数据上进行预训练，SUMN 仍取得了与监督方法相当的性能，证明了自监督通用用户建模的可行性。