[论文解读] EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation

Yuda Wang, Xuxin He+1 more|arXiv (Cornell University)|Jun 4, 2024

Machine Learning in Healthcare被引用 4

一句话总结

EchoMamba4Rec 提出了一种新颖的序列推荐模型，通过将双向 Mamba 状态空间网络与基于 FFT 的谱滤波相结合，有效提升了长序列依赖建模能力与推理效率。该模型在多个基准测试中达到最先进性能，同时保持线性可扩展性并减少内存占用。

ABSTRACT

Predicting user preferences and sequential dependencies based on historical behavior is the core goal of sequential recommendation. Although attention-based models have shown effectiveness in this field, they often struggle with inference inefficiency due to the quadratic computational complexity inherent in attention mechanisms, especially with long-range behavior sequences. Drawing inspiration from the recent advancements of state space models (SSMs) in control theory, which provide a robust framework for modeling and controlling dynamic systems, we introduce EchoMamba4Rec. Control theory emphasizes the use of SSMs for managing long-range dependencies and maintaining inferential efficiency through structured state matrices. EchoMamba4Rec leverages these control relationships in sequential recommendation and integrates bi-directional processing with frequency-domain filtering to capture complex patterns and dependencies in user interaction data more effectively. Our model benefits from the ability of state space models (SSMs) to learn and perform parallel computations, significantly enhancing computational efficiency and scalability. It features a bi-directional Mamba module that incorporates both forward and reverse Mamba components, leveraging information from both past and future interactions. Additionally, a filter layer operates in the frequency domain using learnable Fast Fourier Transform (FFT) and learnable filters, followed by an inverse FFT to refine item embeddings and reduce noise. We also integrate Gate Linear Units (GLU) to dynamically control information flow, enhancing the model's expressiveness and training stability. Experimental results demonstrate that EchoMamba significantly outperforms existing models, providing more accurate and personalized recommendations.

研究动机与目标

• 解决基于注意力机制的模型（如 Transformers）在序列推荐中面临的二次方计算复杂度与内存瓶颈问题。
• 利用控制理论中的状态空间模型（SSMs）实现长序列依赖的高效线性时间建模。
• 通过双向处理与频域滤波，捕捉用户交互行为中过去与未来更丰富的时序模式。
• 通过可学习的门控线性单元（GLU）与结构化状态矩阵，提升模型表达能力与训练稳定性。
• 相比 SOTA 模型（包括 Mamba、Transformers 与 RNNs），实现更高的推荐准确率与推理效率。

提出的方法

• 采用双向 Mamba 模块，利用选择性 SSM 在正向与反向两个方向上处理用户交互序列。
• 应用快速傅里叶变换（FFT）将物品嵌入映射到频域，实现可学习滤波器的谱滤波。
• 通过逆 FFT 重构滤波后的嵌入，降低噪声并提升表征质量。
• 集成门控线性单元（GLU）以动态调节信息流动，提升模型表达能力与训练稳定性。
• 将滤波后的嵌入与残差连接及层归一化结合，实现稳定训练与更优的特征学习。
• 在 Mamba 模块中使用结构化状态矩阵，确保线性计算复杂度与硬件高效推理。

实验结果

研究问题

• RQ1 在基于 Mamba 的模型中，双向处理是否能通过利用未来上下文显著提升序列推荐性能？
• RQ2 在频域中进行谱滤波在用户行为序列的表征学习与噪声抑制方面，其提升程度如何？
• RQ3 GLU 单元的集成对 SSM 基推荐模型的表达能力与训练稳定性有何影响？
• RQ4 EchoMamba4Rec 在长序列推荐任务中，是否在准确率与推理效率两方面均优于现有 SOTA 模型？
• RQ5 所提模型在扩展至长用户交互序列时，能否保持低内存消耗？

主要发现

• 在 MovieLens-1M 数据集上，EchoMamba4Rec 达到最高的 HR@10 得分为 0.3215，较表现第二好的模型（Bi-Mambaformer4Rec）高出 0.0051。
• 在 Amazon-Beauty 数据集上，EchoMamba4Rec 的 NDCG@10 达到 0.1529，优于 Mamba4Rec（0.1509）与 BERT4Rec（0.0979），表明其排名质量更优。
• 在 Amazon-Video-Games 数据集上，EchoMamba4Rec 的 MRR@10 达到 0.0445，为所有模型中最高，显示其在首次相关项目预测上的优势。
• 在 RTX 4090 上，EchoMamba4Rec 的每轮训练时间缩短至 70.187 秒，显著快于 SASRec（163.543 秒）与 BERT4Rec（215.800 秒），且仅消耗 1.61 GB GPU 显存。
• 该模型保持低内存占用（1.61 GB），推理时间仅为 0.0252 秒，优于 Mamba4Rec（0.0305 秒），且比 Transformers 快逾 5 倍。
• 消融实验表明，双向处理与谱滤波均对性能提升有显著贡献，完整模型在所有指标上均优于消融变体。