[论文解读] Interest-oriented Universal User Representation via Contrastive Learning

Qinghui Sun, Jie Gu+6 more|arXiv (Cornell University)|Sep 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用 5

一句话总结

本文提出了一种基于对比自监督学习和可学习兴趣词典的多兴趣提取模块的兴趣导向型通用用户表征框架。通过联合优化长短期兴趣建模的对比学习，并利用学习到的兴趣聚合行为序列，该方法在无需任务特定微调的情况下，在多个下游任务中实现了最先进性能。

ABSTRACT

User representation is essential for providing high-quality commercial services in industry. Universal user representation has received many interests recently, with which we can be free from the cumbersome work of training a specific model for each downstream application. In this paper, we attempt to improve universal user representation from two points of views. First, a contrastive self-supervised learning paradigm is presented to guide the representation model training. It provides a unified framework that allows for long-term or short-term interest representation learning in a data-driven manner. Moreover, a novel multi-interest extraction module is presented. The module introduces an interest dictionary to capture principal interests of the given user, and then generate his/her interest-oriented representations via behavior aggregation. Experimental results demonstrate the effectiveness and applicability of the learned user representations.

研究动机与目标

• 开发一种与任务无关的通用用户表征，使其在无需微调的情况下可泛化至多样化下游应用。
• 通过统一框架捕捉长期与短期用户兴趣，提升用户表征学习效果。
• 解决缺乏泛化能力且需为每个新应用重新训练的特定任务模型的局限性。
• 引入可学习兴趣词典与行为聚合机制，显式建模多样化的用户兴趣。

提出的方法

• 采用对比自监督学习框架，其中正样本对为同一用户在不同时期的用户表征，负样本对为小批量内不同用户的表征。
• 通过在潜在空间中最小化对比损失，使模型能够区分用户行为模式，从而通过调整输入时间跨度实现长期与短期兴趣的联合学习。
• 引入兴趣词典，用于识别每个用户行为最相关的兴趣，实现对主要用户兴趣的显式建模。
• 多兴趣提取模块基于分配的兴趣对行为进行聚合，为每个用户生成多个兴趣导向的表征。
• 应用正则化损失以稳定训练，并自适应调整兴趣词典的参数更新。
• 该框架兼容文本和结构化数据（如物品ID），支持多种用户行为模态的集成。

实验结果

研究问题

• RQ1 对比自监督学习是否能在统一的用户表征框架中有效捕捉长期与短期用户兴趣？
• RQ2 与现有方法相比，引入可学习兴趣词典在建模多样化用户兴趣方面有何改进？
• RQ3 所提方法在无需微调的情况下，其在不同下游任务中的泛化能力如何？
• RQ4 超参数如兴趣数量（K）和词典大小（M）在真实世界数据集上的性能影响如何？

主要发现

• 所提方法 Ours-ID-ICL 在所有评估任务中表现最佳，优于使用动态路由的变体（Ours-Caps-ICL）和标准对比学习变体（Ours-ID-CL）。
• 在 Amazon 数据集上，结合基于文本的表征与基于 ID 的表征使 AUC 提升了 1%，证明了该方法在结构化数据上的有效性。
• 在工业数据集上，最优配置为 K=5 且 M=100；而在 Amazon 数据集上，K=2 且 M=20 表现最佳，表明超参数对数据集具有依赖性。
• 当 K 超过最优值后，性能因表征冗余与噪声而下降，凸显了受控兴趣建模的重要性。
• 消融实验确认，兴趣词典与兴趣导向的对比学习均对性能提升具有持续且稳定的作用。
• 该模型能良好泛化至结构化数据（如类别与物品 ID），而先前方法通常仅限于文本模态。