[論文レビュー] Enhancing User Intent Capture in Session-Based Recommendation with Attribute Patterns

Xin Liu, Zheng Li+6 more|arXiv (Cornell University)|Dec 23, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、ユーザの意図をメモリとしての頻出属性パターンとしてモデル化することで、セッションベース推薦を向上させるFAPAT（Frequent Attribute Pattern Augmented Transformer）を提案する。ゲート付きアテンションとトランスフォーマーブロックを用いて、これらのパターンをセッション系列と統合することで、次アイテム予測と意図理解が向上し、公開および産業界ベンチマークでHits、NDCG、MRRの平均4.5%の向上を達成する。

ABSTRACT

The goal of session-based recommendation in E-commerce is to predict the next item that an anonymous user will purchase based on the browsing and purchase history. However, constructing global or local transition graphs to supplement session data can lead to noisy correlations and user intent vanishing. In this work, we propose the Frequent Attribute Pattern Augmented Transformer (FAPAT) that characterizes user intents by building attribute transition graphs and matching attribute patterns. Specifically, the frequent and compact attribute patterns are served as memory to augment session representations, followed by a gate and a transformer block to fuse the whole session information. Through extensive experiments on two public benchmarks and 100 million industrial data in three domains, we demonstrate that FAPAT consistently outperforms state-of-the-art methods by an average of 4.5% across various evaluation metrics (Hits, NDCG, MRR). Besides evaluating the next-item prediction, we estimate the models' capabilities to capture user intents via predicting items' attributes and period-item recommendations.

研究の動機と目的

• 既存のセッションベース推薦モデルが、短いまたはノイズの多いセッションにおいてユーザの意図を捉えることのできない限界を是正すること。
• グローバル遷移グラフを頻出でコンactな属性パターンに置き換えることで、ノイズと過剰平滑化を低減すること。
• 属性パターンをメモリとして統合することで、ユーザの意図の進化を保持する時間的モデリングを強化すること。
• 属性推定と期間別アイテム推薦タスクを通じて、モデルのロバスト性と意図理解を向上させること。
• 実世界の産業界環境において、パターンベースの拡張がグローバルグラフ学習や事前学習を上回ることを実証すること。

提案手法

• 色やブランドのシーケンスなどの頻出属性パターンが、グラフパターンマイニングを用いてセッションデータから抽出され、コンパクトで高頻度のハイパーエッジとして構成される。
• ジャカード係数を用いて属性パターンをランク付け・抽出することで、グラフの密度と計算コストを低減する。
• ゲート機構とマルチヘッドグラフアテンションにより、セッション系列と学習済み属性パターン表現を共通の埋め込み空間に一致させる。
• 相対的位置バイアスを備えたメモリアググメントド自己アテンションにより、セッションレベルの行動とパターンレベルの信号を統合し、表現を強化する。
• 最終的な統合表現は、トランスフォーマーブロックによって処理され、長距離依存性をモデル化し、時間的ダイナミクスを豊かにする。
• バックプロパゲーションによるエンドツーエンド学習が行われ、アブレーションスタディにより各コンポONENTの貢献度が検証される。

Figure 1 : Local session graph construction.

実験結果

リサーチクエスチョン

• RQ1 グローバルグラフが失敗する短い匿名セッションにおいて、頻出属性パターンはユーザの意図を効果的に捉えることができるか？
• RQ2 パターンベースのメモリアググメントは、グローバル遷移グラフと比較して、セッションベース推薦におけるノイズと過剰平滑化をどれほど低減できるか？
• RQ3 属性パターンモデリングは、次アイテム予測に加え、属性推定や期間別アイテム推薦といった意図指向タスクの向上にもどの程度寄与するか？
• RQ4 アテンションを介した属性パターンと系列モデリングの統合は、事前学習やGNNベースの手法と比較して、より優れた一般化性能を示すか？
• RQ5 提案手法は、1億以上の相互作用を含む大規模産業界データでも高い性能を維持できるか？

主な発見

• FAPATは、公開ベンチマークおよび3つの大規模産業界データセットで、Hits@10、NDCG@10、MRR@10の平均で4.5%の向上を達成した。
• GraphFormer やヴァナイルトランスフォーマーを含む最先端手法を上回り、特にエンコーダーをFAPATの提案アーキテクチャに置き換えた場合に顕著な性能向上が見られた。
• 属性パターンメモリは、過剰平滑化を顕著に低減し、特にスパースまたはノイズの多いデータ環境においてモデルのロバスト性を向上させる。
• 属性推定において、FAPATはBeautyデータセットで90.77%のHits@10、Tmallで59.49%のMRRを達成し、すべてのベースラインを上回った。
• 期間別アイテム推薦において、FAPATは3、5、10クリックの時間枠すべてで高いリCALLとNDCGを維持し、強力な意図予測能力を示した。
• アブレーションスタディにより、属性パターン拡張を削除すると性能が顕著に低下することが確認され、意図モデリングにおけるその重要性が裏付けられた。

Figure 2 : A session graph enriched by multiplex attribute graphs.