[論文レビュー] Efficiently Leveraging Multi-level User Intent for Session-based Recommendation via Atten-Mixer Network

Peiyan Zhang, Jiayan Guo+7 more|arXiv (Cornell University)|Jun 26, 2022

Recommender Systems and Techniques被引用数 7

ひとこと要約

本稿では、複雑なGNN伝搬を多段階のアテンションリードアウト機構に置き換えることで、階層的なユーザーの意図を効率的に捉える軽量なセッションベース推薦モデル、Atten-Mixerを提案する。検索空間の縮小のためのインダクティブバイアスを備えたコンセプトビューとインスタンスビューのアテンションを活用することで、Atten-Mixerは著しく低い複雑性で最先端の性能を達成し、2021年4月以降のオンライン導入において、ビジネス指標で+1.5%の向上を示した。

ABSTRACT

Session-based recommendation (SBR) aims to predict the user's next action based on short and dynamic sessions. Recently, there has been an increasing interest in utilizing various elaborately designed graph neural networks (GNNs) to capture the pair-wise relationships among items, seemingly suggesting the design of more complicated models is the panacea for improving the empirical performance. However, these models achieve relatively marginal improvements with exponential growth in model complexity. In this paper, we dissect the classical GNN-based SBR models and empirically find that some sophisticated GNN propagations are redundant, given the readout module plays a significant role in GNN-based models. Based on this observation, we intuitively propose to remove the GNN propagation part, while the readout module will take on more responsibility in the model reasoning process. To this end, we propose the Multi-Level Attention Mixture Network (Atten-Mixer), which leverages both concept-view and instance-view readouts to achieve multi-level reasoning over item transitions. As simply enumerating all possible high-level concepts is infeasible for large real-world recommender systems, we further incorporate SBR-related inductive biases, i.e., local invariance and inherent priority to prune the search space. Experiments on three benchmarks demonstrate the effectiveness and efficiency of our proposal. We also have already launched the proposed techniques to a large-scale e-commercial online service since April 2021, with significant improvements of top-tier business metrics demonstrated in the online experiments on live traffic.

研究の動機と目的

• GNNベースのセッションベース推薦モデルが、複雑性が増す中で過剰パラメータ化されているかどうかを調査すること。
• リードアウトモジュールが強力な好みの信号を捉えている場合、GNN伝搬が冗長であることを同定すること。
• 推論の責任を強力な多段階リードアウトモジュールに移譲するより効率的なアーキテクチャを設計すること。
• SBR固有のインダクティブバイアス—局所不変性と本質的優先順位—を組み込み、高レベルの概念の探索空間を縮小すること。
• オフラインベンチマークと大規模なオンライン導入を通じて、モデルの有効性と効率性を検証すること。

提案手法

• GNN伝搬を完全に排除し、セッション表現に多段階アテンションリードアウトに依存するAtten-Mixerを提案する。
• 高レベルのユーザーの意図を抽象的なコンセプト（例：「ウェディングウェア」）にアイテムをグループ化することでモデル化するコンセプトビューのリードアウトを導入する。
• 個々のアイテム、特に最後にクリックされたアイテムに注目するインスタンスビューのリードアウトを採用し、微細な好みのモデル化を実現する。
• 学習可能なアテンションミキサーを用いて、コンセプトレベルとインスタンスレベルの表現を組み合わせ、多段階の推論を実現する。
• 可能な高レベルの概念の探索空間を制限するため、局所不変性と本質的優先順位のインダクティブバイアスを適用する。
• ハイパーパrameterはバリデーションを用いてチューニングし、次アイテム予測のクロスエントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 既存のSBRモデルにおける複雑なGNN伝搬は、リードアウトモジュールの強力な表現能力を考慮すると、本当に必要なのか、それとも冗長なのか？
• RQ2 GNNを排除した簡素化されたアーキテクチャが、強化されたリードアウト設計により最先端のGNNベースSBRモデルを上回ることができるか？
• RQ3 高レベルのコンセプトと個々のアイテムの両方にわたる多段階の推論は、セッション表現をどのように改善するか？
• RQ4 高レベルのコンセプトの探索空間を縮小する際に、どのインダクティブバイアスが性能を損なわず最も効果的か？
• RQ5 軽量でアテンションベースのリードアウトモデルは、オフラインベンチマークと実世界のオンラインプロダクションシステムの両方で一貫した改善を達成できるか？

主な発見

• Atten-Mixerは、Diginetica、Gowalla、Last.fmの3つの公開ベンチマークでSOTA性能を達成し、それぞれHR@20が55.66、55.12、27.01となった。
• 1週間のライブトラフィック実験において、オンラインビジネス指標が+1.5%向上し、実世界での有効性が裏付けられた。
• Level-Lコンponentの性能がl=2でピークに達した。これは、インスタンスとコンセプトの2段階の抽象化がユーザーの意図をモデル化するのに最適であることを示している。
• より多くのアテンションヘッドを使用すると、DigineticaとGowallaでは性能が向上したが、Last.fmでは性能が低下した。これはヘッド数に対するデータセット固有の感受性を示している。
• Atten-Mixerは、すべてのセッション長においてGC-SANとSR-GNNを上回った。特に情報損失が顕著になる長時間のセッションにおいて顕著な優位性を示した。
• アブレーションスタディの結果、GNN伝搬を削除し、リードアウトを強化することで性能と効率性が向上した。これはGNNの冗長性という核心仮説が妥当であることを裏付けた。