[論文レビュー] Frequency Enhanced Hybrid Attention Network for Sequential Recommendation

Xinyu Du, Huanhuan Yuan+5 more|arXiv (Cornell University)|Apr 18, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、時間領域と周波数領域を同時にモデル化することで順序推薦を向上させる周波数強化型ハイブリッドアテンションネットワークであるFEARecを提案する。周波数ラムプ構造を導入して高周波数情報を保持するとともに、自己相関を用いた周波数ドメイン内自己アテンション機構により周期的パターンを捉える。対照的学習と周波数正則化を用いることで、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

The self-attention mechanism, which equips with a strong capability of modeling long-range dependencies, is one of the extensively used techniques in the sequential recommendation field. However, many recent studies represent that current self-attention based models are low-pass filters and are inadequate to capture high-frequency information. Furthermore, since the items in the user behaviors are intertwined with each other, these models are incomplete to distinguish the inherent periodicity obscured in the time domain. In this work, we shift the perspective to the frequency domain, and propose a novel Frequency Enhanced Hybrid Attention Network for Sequential Recommendation, namely FEARec. In this model, we firstly improve the original time domain self-attention in the frequency domain with a ramp structure to make both low-frequency and high-frequency information could be explicitly learned in our approach. Moreover, we additionally design a similar attention mechanism via auto-correlation in the frequency domain to capture the periodic characteristics and fuse the time and frequency level attention in a union model. Finally, both contrastive learning and frequency regularization are utilized to ensure that multiple views are aligned in both the time domain and frequency domain. Extensive experiments conducted on four widely used benchmark datasets demonstrate that the proposed model performs significantly better than the state-of-the-art approaches.

研究の動機と目的

• 順序推薦における自己アテンション機構の限界、特に高周波数および周期的ユーザー行動パターンを捉える能力の不足を是正すること。
• フーリエ変換を用いて時間領域から周波数領域に移行することで、長距離依存関係のモデル化を改善すること。
• アテンション機構内に新規の周波数ラムプ構造を導入し、低周波数および高周波数情報を明示的に学習すること。
• 周波数ドメインにおける自己相関を用いてユーザー行動の固有の周期性を捉えること。
• 時間領域と周波数領域の複数のビューを対照的学習と周波数正則化によって統合し、表現学習の向上を図ること。

提案手法

• 従来の自己アテンション機構を変更する周波数ラムプ構造を提案し、周波数ドメインにおける低周波数および高周波数成分の明示的学習を可能にする。
• ラグ付き系列の自己相関に基づく周波数ドメインアテンション機構を導入し、周期的行動パターンをモデル化する。
• 時間領域系列を周波数ドメイン表現に変換するため、離散フーリエ変換（DFT）を適用してスペクトル分析を強化する。
• 高速フーリエ変換（FFT）および逆FFT（IFFT）を用いて、計算複雑度を低減しながらDFTを効率的に計算し、時間領域信号を再構築する。
• ウィエナー＝キンチンの定理を用いて、FFTを介して周波数ドメインで自己相関を計算し、時間遅延付き類似性を効率的に検出する。
• 時間領域と周波数領域の表現を統合するために対照的学習と周波数正則化を統合し、一般化性能とロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己アテンション機構は、従来のモデルで失われがちな高周波数情報を保持できるように拡張可能か？
• RQ2 ユーザー行動系列における周期的パターンは、周波数ドメインで効果的にモデル化可能か？
• RQ3 時間ドメインと周波数ドメインのアテンションを組み合わせることで、順序推薦の性能向上が図れるか？
• RQ4 周波数正則化と対照的学習は、時間領域と周波数領域の表現間の整合性をどの程度向上させるか？
• RQ5 提案されたFEARecモデルは、標準的な順序推薦ベンチマークで既存の最先端手法を上回るか？

主な発見

• FEARecは、広く用いられる4つのベンチマークデータセットで最先端の性能を達成し、順序推薦タスクにおいて既存のSOTAモデルを上回った。
• 従来の自己アテンション機構が無視していた高周波数ユーザーインタラクションパターンを明示的に捉えることで、推薦精度が著しく向上した。
• 周波数ドメインにおける自己相関アテンションの統合により、毎日や毎週のサイクルといった周期的ユーザー行動トレンドの有効なモデル化が可能になった。
• 対照的学習と周波数正則化により、時間領域と周波数領域の表現が成功裏に統合され、モデルのロバストネスと一般化性能が向上した。
• 周波数ラムプ構造により、低周波数と高周波数情報のバランスが適切に保たれ、モデルが純粋なローパスフィルタとしての振る舞いを回避した。
• 実験結果から、FEARecは全評価データセットにおいて、RecallおよびNDCGを含む複数の指標で一貫して性能向上を示した。