[论文解读] ConvFormer: Revisiting Transformer for Sequential User Modeling

Hao Wang, Jianxun Lian+6 more|arXiv (Cornell University)|Aug 5, 2023

Recommender Systems and TechniquesComputer Science被引用 3

一句话总结

ConvFormer 通过用深度可分离卷积层替换 Transformer 架构中的自注意力机制，提出了一种简单而有效的序列用户建模改进方法，以增强顺序敏感性、感受野和模型效率。它在四个公开数据集上实现了最先进性能，具有轻量化设计，并采用基于 FFT 的加速技术处理长序列。

ABSTRACT

Sequential user modeling, a critical task in personalized recommender systems, focuses on predicting the next item a user would prefer, requiring a deep understanding of user behavior sequences. Despite the remarkable success of Transformer-based models across various domains, their full potential in comprehending user behavior remains untapped. In this paper, we re-examine Transformer-like architectures aiming to advance state-of-the-art performance. We start by revisiting the core building blocks of Transformer-based methods, analyzing the effectiveness of the item-to-item mechanism within the context of sequential user modeling. After conducting a thorough experimental analysis, we identify three essential criteria for devising efficient sequential user models, which we hope will serve as practical guidelines to inspire and shape future designs. Following this, we introduce ConvFormer, a simple but powerful modification to the Transformer architecture that meets these criteria, yielding state-of-the-art results. Additionally, we present an acceleration technique to minimize the complexity associated with processing extremely long sequences. Experiments on four public datasets showcase ConvFormer's superiority and confirm the validity of our proposed criteria.

研究动机与目标

• 重新评估自注意力令牌混合器在序列用户建模中的有效性，特别是其对项目顺序的不敏感性。
• 识别在序列推荐系统中实现高效令牌混合器的核心设计标准：顺序敏感性、大感受野和轻量化架构。
• 提出 ConvFormer，一种通过深度可分离卷积令牌混合器满足这些标准的改进 Transformer 模型。
• 通过引入 ConvFormer-F（一种基于 FFT 的加速变体）来解决长序列中的计算挑战。
• 通过在多个基准上的大量实验和消融研究，验证所提出的准则。

提出的方法

• 用深度可分离卷积（DWC）层替换 Transformer 中的自注意力机制，以提升顺序敏感性并扩展感受野。
• 在 DWC 层中使用完整感受野（FRF），在不引发参数爆炸的情况下捕捉长距离依赖关系。
• 提出 ConvFormer-F，一种利用傅里叶变换的高效近似方法，用于加速长序列上的推理。
• 采用 Meta-Former 架构，以确保与轻量化、可扩展设计的兼容性。
• 保留残差连接和位置嵌入，以保持序列结构和模型稳定性。
• 使用简单的点积匹配函数，基于最终用户表征进行下一项物品预测。

实验结果

研究问题

• RQ1 尽管具有可扩展性，为何标准自注意力令牌混合器在序列用户建模中表现不佳？
• RQ2 实现高性能序列用户建模所必需的架构特性是什么？
• RQ3 是否可以设计一种更简单、更具顺序敏感性的自注意力替代方案，在此任务中超越复杂的注意力机制？
• RQ4 如何在降低计算成本的同时保持长用户行为序列的高性能？
• RQ5 所提出的架构准则在不同推荐场景中具有多大程度的泛化能力？

主要发现

• ConvFormer 在四个公开数据集（Beauty、Sports、Toys 和 Yelp）上实现了最先进性能，优于 BERT4Rec、SASRec 和 FMLP 等模型。
• 在 Yelp 数据集上，ConvFormer 的 H@10 达到 0.7721，显著优于第二名模型（0.7597），p 值 < 0.01。
• L-Mixer 变体（使用仿射层作为令牌混合器）也取得了强劲表现，验证了所提准则即使在极简复杂度下依然有效。
• ConvFormer-F（基于 FFT 加速的版本）在几乎不损失准确率的情况下实现了显著加速，适用于长序列场景。
• 消融研究证实，顺序敏感性和大感受野至关重要，而标准的物品-物品注意力机制反而可能损害性能。
• 所提出的准则——顺序敏感性、大感受野和轻量化设计——被证明是有效且可泛化的未来模型设计指导原则。