[论文解读] AdaMCT: Adaptive Mixture of CNN-Transformer for Sequential Recommendation

Juyong Jiang, Zhang, Peiyan+7 more|arXiv (Cornell University)|May 18, 2022

Recommender Systems and Techniques被引用 4

一句话总结

AdaMCT 提出了一种新颖的自适应混合模型，结合 CNN 与 Transformer 架构，以联合建模序列推荐中的长期与短期用户偏好。通过卷积滤波器引入局部性归纳偏置，并采用层感知自适应混合机制与挤压-激励注意力，AdaMCT 在提升效率的同时实现了对多个相关项目的个性化注意力，取得了最先进性能。

ABSTRACT

Sequential recommendation (SR) aims to model users dynamic preferences from a series of interactions. A pivotal challenge in user modeling for SR lies in the inherent variability of user preferences. An effective SR model is expected to capture both the long-term and short-term preferences exhibited by users, wherein the former can offer a comprehensive understanding of stable interests that impact the latter. To more effectively capture such information, we incorporate locality inductive bias into the Transformer by amalgamating its global attention mechanism with a local convolutional filter, and adaptively ascertain the mixing importance on a personalized basis through layer-aware adaptive mixture units, termed as AdaMCT. Moreover, as users may repeatedly browse potential purchases, it is expected to consider multiple relevant items concurrently in long-/short-term preferences modeling. Given that softmax-based attention may promote unimodal activation, we propose the Squeeze-Excitation Attention (with sigmoid activation) into SR models to capture multiple pertinent items (keys) simultaneously. Extensive experiments on three widely employed benchmarks substantiate the effectiveness and efficiency of our proposed approach. Source code is available at https://github.com/juyongjiang/AdaMCT.

研究动机与目标

• 解决在序列推荐中同时建模长期稳定兴趣与动态短期偏好的挑战。
• 通过可学习的混合机制，实现在长期与短期偏好之间个性化、自适应的融合。
• 通过同时捕捉多个相关项目，改进序列依赖关系的建模，克服基于 softmax 注意力的局限性。
• 通过卷积滤波器将局部性归纳偏置整合到 Transformer 中，同时保持全局注意力能力。
• 在真实世界序列推荐基准中实现高效率与高效果。

提出的方法

• AdaMCT 采用混合架构，结合局部卷积分支（$\mathcal{L}_{\text{Conv}}$）与全局自注意力分支（$\mathcal{G}_{\text{Trm}}$），以建模序列模式。
• 层感知自适应混合单元动态计算注意力权重（$\alpha$，$\beta$），在逐层与逐用户基础上融合 CNN 与 Transformer 分支的表征。
• 引入挤压-激励注意力（SEAtt）以替代标准的 softmax 注意力，实现多项目激活并改进对多个相关项目的建模能力。
• 模型采用具有压缩比 $r$ 与非线性激活（$\Phi$）的可学习门控机制，重新校准注意力机制中的特征重要性。
• 模型通过标准推荐损失端到端训练，最终输出为每个项目的个性化推荐分数。
• 通过消融研究优化超参数，如卷积核大小 $k$、头数 $h$ 与模型维度 $d_{\text{model}}$。

实验结果

研究问题

• RQ1 如何以一种实现相互增强的方式联合建模长期与短期用户偏好？
• RQ2 通过自适应、个性化的 CNN 与 Transformer 组件融合，能否提升序列推荐性能？
• RQ3 将标准 softmax 注意力替换为挤压-激励注意力，是否能增强模型捕捉多个相关项目的能力？
• RQ4 与纯 Transformer 模型相比，通过 CNN 整合局部性归纳偏置是否能提升性能？
• RQ5 在序列推荐中，模型效率（FLOPs、内存、推理时间）与性能之间的权衡如何？

主要发现

• AdaMCT 在三个公开基准上达到最先进性能，NDCG@10 分别为 Toys 数据集的 0.3511 与 Sports 数据集的 0.3444。
• 与 Caser 相比，FLOPs 降低 91%，与 SASRec 相比降低 79%，在 Toys 数据集上仅使用 0.41M 参数。
• 与 Caser 相比，训练成本降低 84%，在 Toys 数据集上推理成本降低 79%。
• 消融研究显示，卷积核大小 $k=3$ 与压缩比 $r=1$ 时性能最佳，GELU 激活函数优于 ReLU 与 Swish。
• 可视化结果表明，与基线模型相比，AdaMCT 学习到了更连贯且个性化的项目相关性模式。
• 自适应系数可视化显示，模型能根据用户与层动态调整注意力权重，反映出个性化的偏好动态。