[論文レビュー] EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation

Yuda Wang, Xuxin He+1 more|arXiv (Cornell University)|Jun 4, 2024

Machine Learning in Healthcare被引用数 4

ひとこと要約

EchoMamba4Recは、長距離依存関係のモデリングと推論効率を向上させるために、双方向Mamba状態空間ネットワークとFFTを用いたスペクトルフィルタリングを統合する新しい順序推薦モデルを提案する。複数のベンチマークで最先端の性能を達成し、線形スケーラビリティを維持するとともにメモリ使用量を削減する。

ABSTRACT

Predicting user preferences and sequential dependencies based on historical behavior is the core goal of sequential recommendation. Although attention-based models have shown effectiveness in this field, they often struggle with inference inefficiency due to the quadratic computational complexity inherent in attention mechanisms, especially with long-range behavior sequences. Drawing inspiration from the recent advancements of state space models (SSMs) in control theory, which provide a robust framework for modeling and controlling dynamic systems, we introduce EchoMamba4Rec. Control theory emphasizes the use of SSMs for managing long-range dependencies and maintaining inferential efficiency through structured state matrices. EchoMamba4Rec leverages these control relationships in sequential recommendation and integrates bi-directional processing with frequency-domain filtering to capture complex patterns and dependencies in user interaction data more effectively. Our model benefits from the ability of state space models (SSMs) to learn and perform parallel computations, significantly enhancing computational efficiency and scalability. It features a bi-directional Mamba module that incorporates both forward and reverse Mamba components, leveraging information from both past and future interactions. Additionally, a filter layer operates in the frequency domain using learnable Fast Fourier Transform (FFT) and learnable filters, followed by an inverse FFT to refine item embeddings and reduce noise. We also integrate Gate Linear Units (GLU) to dynamically control information flow, enhancing the model's expressiveness and training stability. Experimental results demonstrate that EchoMamba significantly outperforms existing models, providing more accurate and personalized recommendations.

研究の動機と目的

• Transformerのようなアテンションベースのモデルにおける、二次的計算複雑性とメモリボトルネックを解決する。
• 制御理論からの状態空間モデル（SSM）を活用し、長時間系列依存関係を効率的かつ線形時間でモデリングする。
• 双方向処理と周波数ドメインフィルタリングを統合し、過去および未来のユーザー行動からより豊かな時間的パターンを捉える。
• 学習可能なゲート付き線形ユニット（GLU）と構造的状態行列を用いて、モデルの表現力と学習安定性を向上させる。
• Mamba、Transformer、RNNを含む最先端モデルと比較して、推薦精度と推論効率の両面で優れた性能を達成する。

提案手法

• 選択的SSMを用いて、ユーザー行動系列を前向きおよび逆向きの両方向に処理する双方向Mambaモジュールを採用する。
• 高速フーリエ変換（FFT）を用いてアイテム埋め込みを周波数ドメインに変換し、学習可能なフィルタを用いたスペクトルフィルタリングを実施する。
• 逆FFTを適用してフィルタリングされた埋め込みを再構築し、ノイズを低減するとともに表現品質を向上させる。
• ゲート付き線形ユニット（GLU）を導入して情報フローを動的にゲーティングし、モデルの表現力と学習安定性を向上させる。
• フィルタリングされた埋め込みを残差接続と層正則化と組み合わせ、安定した学習と特徴学習の向上を実現する。
• Mambaブロックで構造的状態行列を活用することで、線形計算複雑性とハードウェア効率の高い推論を確保する。

実験結果

リサーチクエスチョン

• RQ1 Mambaベースのモデルにおける双方向処理は、将来の文脈を活用することで、順序推薦性能を顕著に向上させることができるか？
• RQ2 周波数ドメインにおけるスペクトルフィルタリングは、ユーザー行動系列の表現学習とノイズ抑制にどの程度寄与するか？
• RQ3 GLUユニットの統合は、SSMベースの推薦モデルの表現力と学習安定性にどのような影響を及ぼすか？
• RQ4 EchoMamba4Recは、長時間系列推薦タスクにおいて、既存の最先端モデルを上回る精度と推論効率を達成できるか？
• RQ5 提案されたモデルは、長時間のユーザー行動系列にスケーリングしても低メモリ消費量を維持できるか？

主な発見

• MovieLens-1Mデータセットにおいて、EchoMamba4RecはHR@10スコアで最高の0.3215を達成し、2番目に良いモデル（Bi-Mambaformer4Rec）を0.0051点上回った。
• Amazon-Beautyでは、NDCG@10が0.1529に達し、Mamba4Rec（0.1509）とBERT4Rec（0.0979）を上回り、優れた順位付け品質を示した。
• Amazon-Video-Gamesデータセットでは、MRR@10が0.0445に達し、全モデル中最も高く、最初の関連アイテム予測性能が向上した。
• RTX 4090で1エポックあたりの学習時間を70.187秒に短縮し、SASRec（163.543 s）とBERT4Rec（215.800 s）を大きく上回った。GPUメモリ使用量はわずか1.61 GBで抑えられた。
• モデルは低メモリ使用量（1.61 GB）を維持し、推論時間を0.0252秒にまで短縮。Mamba4Rec（0.0305 s）を上回り、Transformerの5倍以上も高速だった。
• アブレーションスタディの結果、双方向処理とスペクトルフィルタリングの両方が性能向上に顕著な貢献をしていることが確認され、全指標で完全モデルがアブレーションバージョンを上回った。