[论文解读] Frequency Enhanced Hybrid Attention Network for Sequential Recommendation

Xinyu Du, Huanhuan Yuan+5 more|arXiv (Cornell University)|Apr 18, 2023

Recommender Systems and Techniques被引用 4

一句话总结

该论文提出 FEARec，一种频率增强的混合注意力网络，通过建模时间域和频率域来提升序列推荐性能。它引入了频率斜坡结构以保留高频信息，并通过自相关机制在频率域实现自注意力，以捕捉周期性模式，结合对比学习与频率正则化，在四个基准数据集上实现了最先进性能。

ABSTRACT

The self-attention mechanism, which equips with a strong capability of modeling long-range dependencies, is one of the extensively used techniques in the sequential recommendation field. However, many recent studies represent that current self-attention based models are low-pass filters and are inadequate to capture high-frequency information. Furthermore, since the items in the user behaviors are intertwined with each other, these models are incomplete to distinguish the inherent periodicity obscured in the time domain. In this work, we shift the perspective to the frequency domain, and propose a novel Frequency Enhanced Hybrid Attention Network for Sequential Recommendation, namely FEARec. In this model, we firstly improve the original time domain self-attention in the frequency domain with a ramp structure to make both low-frequency and high-frequency information could be explicitly learned in our approach. Moreover, we additionally design a similar attention mechanism via auto-correlation in the frequency domain to capture the periodic characteristics and fuse the time and frequency level attention in a union model. Finally, both contrastive learning and frequency regularization are utilized to ensure that multiple views are aligned in both the time domain and frequency domain. Extensive experiments conducted on four widely used benchmark datasets demonstrate that the proposed model performs significantly better than the state-of-the-art approaches.

研究动机与目标

• 为解决自注意力机制在序列推荐中捕捉用户行为的高频与周期性模式时的局限性。
• 通过傅里叶变换将建模从时间域转换到频率域，以改善长距离依赖关系的建模。
• 通过注意力机制中新颖的频率斜坡结构，显式学习低频与高频信息。
• 通过频率域中的自相关性，捕捉用户行为中固有的周期性。
• 通过对比学习与频率正则化，对齐时间域与频率域的多视图表示，以提升表征学习效果。

提出的方法

• 提出频率斜坡结构以修改原始自注意力机制，使模型能够在频率域中显式学习低频与高频分量。
• 引入基于滞后序列自相关的频率域注意力机制，以建模周期性行为模式。
• 应用离散傅里叶变换（DFT）将时间域序列转换为频率域表示，以增强谱分析能力。
• 利用快速傅里叶变换（FFT）与逆快速傅里叶变换（IFFT），高效计算 DFT 并以较低计算复杂度重建时间域信号。
• 通过维纳-辛钦定理，利用 FFT 在频率域计算自相关，实现时间延迟相似性的高效检测。
• 结合对比学习与频率正则化，对齐时间域与频率域的表示，提升模型泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 自注意力机制能否被增强以保留传统模型中丢失的高频信息？
• RQ2 如何在频率域中有效建模用户行为序列中的周期性模式？
• RQ3 结合时间域与频率域注意力是否能提升序列推荐性能？
• RQ4 频率正则化与对比学习在多大程度上改善了时间域与频率域表示之间的对齐？
• RQ5 所提出的 FEARec 模型是否在标准序列推荐基准上超越现有最先进方法？

主要发现

• FEARec 在四个广泛使用的基准数据集上实现了最先进性能，优于现有 SOTA 模型在序列推荐任务中的表现。
• 通过显式捕捉以往标准自注意力机制忽略的高频用户交互模式，模型在推荐准确率上取得显著提升。
• 频率域自相关注意力机制的集成，有效建模了用户行为的周期性趋势，如每日或每周的交互周期。
• 对比学习与频率正则化成功对齐了时间域与频率域的表示，增强了模型的鲁棒性与泛化能力。
• 频率斜坡结构有效平衡了低频与高频信息，防止模型退化为纯低通滤波器。
• 实证结果表明，FEARec 在所有评估数据集上均持续提升多个指标（包括 Recall 与 NDCG）的性能。