[论文解读] Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
该论文将推荐系统重新表述为序列生成的变换任务,并引入 HSTU,一种高性能编码器,能够实现 trillion-parameter Generative Recommenders,在准确性上取得巨大提升,并比 Transformer 基线有显著的加速,同时对推荐的尺度法则保持成立。
Large-scale recommendation systems are characterized by their reliance on high cardinality, heterogeneous features and the need to handle tens of billions of user actions on a daily basis. Despite being trained on huge volume of data with thousands of features, most Deep Learning Recommendation Models (DLRMs) in industry fail to scale with compute. Inspired by success achieved by Transformers in language and vision domains, we revisit fundamental design choices in recommendation systems. We reformulate recommendation problems as sequential transduction tasks within a generative modeling framework ("Generative Recommenders"), and propose a new architecture, HSTU, designed for high cardinality, non-stationary streaming recommendation data. HSTU outperforms baselines over synthetic and public datasets by up to 65.8% in NDCG, and is 5.3x to 15.2x faster than FlashAttention2-based Transformers on 8192 length sequences. HSTU-based Generative Recommenders, with 1.5 trillion parameters, improve metrics in online A/B tests by 12.4% and have been deployed on multiple surfaces of a large internet platform with billions of users. More importantly, the model quality of Generative Recommenders empirically scales as a power-law of training compute across three orders of magnitude, up to GPT-3/LLaMa-2 scale, which reduces carbon footprint needed for future model developments, and further paves the way for the first foundational models in recommendations.
研究动机与目标
- 在生成式建模框架下,将工业规模推荐系统中的排序与检索重新表述为序列变换任务。
- 开发面向大规模、非平稳词汇和流数据的高性能编码器(HSTU)。
- 降低训练和推理成本,使得能够训练显著更大的模型。
- 在大型互联网平台上展示实际部署和在线改进。
- 研究与大型语言模型(LLMs)类似的推荐模型的尺度法则。
提出的方法
- 将异构的 DLRM 特征空间统一为一个单一的时间序列,以实现序列变换。
- 提出 Generative Recommenders (GRs) 和分层序列变换单元(Hierarchical Sequential Transduction Unit, HSTU)编码器,以处理高基数和非平稳词汇。
- 用逐点聚合注意力机制取代 softmax 注意力,以更好地捕捉推荐中的目标感知交互。
- 引入稀疏性友好且节省内存的技术,包括随机长度(Stochastic Length, SL)在训练期间有选择地降低序列长度。
- 开发 M-FALCON,一种微批次注意力算法,用于在大量候选项之间摊销推理成本。
- 通过生成式训练和端到端流式框架,将训练时的代价从 O(N^3d+N^2d^2) 降低到 O(N^2d+d^2)。
实验结果
研究问题
- RQ1在工业规模的推荐系统中,排序与检索是否可以有效地表述为序列生成变换任务?
- RQ2在流式设置中,为将自注意力扩展到十亿级词汇需要哪些架构变更?
- RQ3如何在不牺牲性能的前提下降低训练与推理成本,以支持 trillion-parameter 模型?
- RQ4在推荐系统中观察到的尺度法则是否也适用于生成式推荐系统?
- RQ5与传统 DLRMs 相比,生成式、目标感知模型在在线 A/B 测试中能带来哪些实际收益?
主要发现
- 基于 HSTU 的 GR 在合成数据、公开数据和工业数据上比 DLRMs 有显著优势,在合成数据/公开数据集上实现高达 65.8% 的 NDCG 增益。
- HSTU 在 8192 长序列上相较于以 FlashAttention2 为基础的 Transformer 提速 5.3x 到 15.2x。
- 具有 1.5 万亿参数的 GR 在大型平台的排序任务上实现 12.4% 的在线 A/B 改进。
- 生成式推荐模型的质量随训练计算呈幂律增长,跨越三个数量级,与 LLM 的尺度洞见相吻合。
- M-FALCON 通过在候选项之间摊销成本,在相同推理预算内使得处理更复杂的 GR 模型达到 285x。
- Stochastic Length (SL) 能在对 NE/NDCG 指标影响最小的前提下将序列长度最多降低约 80%,从而大幅降低训练成本。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。