[論文レビュー] An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention

Yehjin Shin, Jeongwhan Choi+2 more|arXiv (Cornell University)|Dec 16, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、周波数ドメインにおける注目型インダクティブバイアスと学習可能な周波数リスケーラーを統合することで、TransformerベースのSRにおける過剰平滑化問題に対処する新しい順序推薦モデル、BSARecを提案する。6つのベンチマークデータセットにおける実験により、BSARecは7つの最先端のベースラインを上回る推薦性能を達成した。

ABSTRACT

Sequential recommendation (SR) models based on Transformers have achieved remarkable successes. The self-attention mechanism of Transformers for computer vision and natural language processing suffers from the oversmoothing problem, i.e., hidden representations becoming similar to tokens. In the SR domain, we, for the first time, show that the same problem occurs. We present pioneering investigations that reveal the low-pass filtering nature of self-attention in the SR, which causes oversmoothing. To this end, we propose a novel method called $ extbf{B}$eyond $ extbf{S}$elf-$ extbf{A}$ttention for Sequential $ extbf{Rec}$ommendation (BSARec), which leverages the Fourier transform to i) inject an inductive bias by considering fine-grained sequential patterns and ii) integrate low and high-frequency information to mitigate oversmoothing. Our discovery shows significant advancements in the SR domain and is expected to bridge the gap for existing Transformer-based SR models. We test our proposed approach through extensive experiments on 6 benchmark datasets. The experimental results demonstrate that our model outperforms 7 baseline methods in terms of recommendation performance. Our code is available at https://github.com/yehjin-shin/BSARec.

研究の動機と目的

• Transformerベースの順序推薦モデルにおける性能低下の根本的要因を解明すること。
• 自己注意機構のローパスフィルタリング特性が、順序推薦における過剰平滑化を引き起こす主な要因であることを特定すること。
• 周波数ドメインでのモデリングを通じて注目型インダクティブバイアスを導入することで、モデルの一般化性能を向上させること。
• 短期的な傾向などの高周波成分を明示的に統合することで、過剰平滑化を軽減すること。
• 順序推薦において長期的なユーザー関心（低周波）と短期的な好み（高周波）のバランスを取る統合フレームワークを構築すること。

提案手法

• ユーザー行動シーケンスから周波数ドメイン表現を抽出するためにフーリエ変換を活用し、周期性および順序パターンに基づくインダクティブバイアスを組み込む。
• 短時間のユーザー行動に注目するハイパスフィルタリングを適用する学習可能な周波数リスケーラーを導入する。
• ヴァナイルな自己注意とフーリエ変換表現を組み合わせることで、グローバルな依存関係モデリングを維持しながら過剰平滑化を低減する。
• 動的ユーザー関心を捉えるために重要な高周波成分を保持するよう促す周波数に依存する損失関数を設計する。
• 周波数ドメインでインダクティブバイアスを捉えるパスと、注意機構で長距離依存関係をモデル化するパスの二重パスアーキテクチャを採用する。
• ユーザー行動シーケンスのスペクトル分解を用いて、低周波（安定した好み）と高周波（トレンド関心）成分を分離・処理する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースの順序推薦モデルにおける自己注意機構は、過剰平滑化を引き起こす低パスフィルタリング特性を示すか？
• RQ2 フーリエ変換による注目型インダクティブバイアスの組み込みにより、モデルの一般化性能と推薦精度が向上するか？
• RQ3 周波数成分のハイパスフィルタリングは、順序推薦における過剰平滑化問題をどの程度軽減できるか？
• RQ4 低周波と高周波情報の統合は、モデルの長期的および短期的ユーザー好みの捉え方の能力にどのように影響するか？
• RQ5 提案されたBSARecフレームワークは、多様な順序推薦ベンチマークにおいて、既存の自己注意ベースのモデルよりも効果的か？

主な発見

• TransformerベースのSRモデルにおける自己注意機構は、ローパスフィルタリング特性を示しており、隠れ表現が過剰に平滑化され、細分化された順序パターンを失う。
• 提案されたBSARecモデルは、6つのベンチマークデータセットで最先端の性能を達成し、7つの既存ベースラインを上回る推薦精度を実現した。
• 周波数リスケーラーは、短期的なトレンドなどの高周波行動パターンを効果的に捉えており、ユーザー関心の変化へのモデルの対応性を向上させた。
• フーリエベースのインダクティブバイアスの統合により、長期的な好みと一時的なユーザー行動の両方を保持することで、モデルの一般化性能が向上した。
• アブレーションスタディの結果、注目型インダクティブバイアスとハイパスフィルタリングの両成分が性能向上に不可欠であり、それぞれが最終的な結果に顕著な寄与を示した。
• Amazon-Beauty、ML-1Mなど多様なデータセットにおいて、モデルは強固な性能を示し、特定の分野に限定されない一般化能力を確認した。