[論文レビュー] Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer

Ziwei Fan, Zhiwei Liu+4 more|arXiv (Cornell University)|Aug 14, 2021

Recommender Systems and Techniques参考文献 61被引用数 7

ひとこと要約

本稿では、時間に敏感な自己注意を用いてアイテム遷移とユーザ-アイテム相互作用ダイナミクスを共同でモデリングする、新たな時間的協調変換器（TCT）層を備えた時間的グラフ逐次推薦（TGSRec）という連続時刻における逐次推薦フレームワークを提案する。TGSRecは、5つの実世界データセットにおいて、Recall@10とMRRで最大22.5%および22.1%の絶対的向上を達成する。

ABSTRACT

In order to model the evolution of user preference, we should learn user/item embeddings based on time-ordered item purchasing sequences, which is defined as Sequential Recommendation (SR) problem. Existing methods leverage sequential patterns to model item transitions. However, most of them ignore crucial temporal collaborative signals, which are latent in evolving user-item interactions and coexist with sequential patterns. Therefore, we propose to unify sequential patterns and temporal collaborative signals to improve the quality of recommendation, which is rather challenging. Firstly, it is hard to simultaneously encode sequential patterns and collaborative signals. Secondly, it is non-trivial to express the temporal effects of collaborative signals. Hence, we design a new framework Temporal Graph Sequential Recommender (TGSRec) upon our defined continuous-time bi-partite graph. We propose a novel Temporal Collaborative Trans-former (TCT) layer in TGSRec, which advances the self-attention mechanism by adopting a novel collaborative attention. TCT layer can simultaneously capture collaborative signals from both users and items, as well as considering temporal dynamics inside sequential patterns. We propagate the information learned fromTCTlayerover the temporal graph to unify sequential patterns and temporal collaborative signals. Empirical results on five datasets show that TGSRec significantly outperforms other baselines, in average up to 22.5% and 22.1%absolute improvements in Recall@10and MRR, respectively.

研究の動機と目的

• 進化するユーザ-アイテム相互作用に潜む時間的協調信号を無視する既存の逐次推薦モデルの限界を解消すること。
• 統一されたフレームワーク内で逐次パターンと協調信号を同時に符号化する課題を克服すること。
• 連続時刻におけるユーザとアイテムの間での協調信号の動的時間的効果をモデリングすること。
• 時間経過に伴うアイテム遷移パターンとユーザ-アイテム類似度ダイナミクスを統合することで、推薦精度を向上させること。
• ユーザの好みとアイテム相互作用の連続時刻モデリングをサポートするスケーラブルで微分可能なフレームワークを開発すること。

提案手法

• エッジに連続時刻を割り当てた連続時刻双方向グラフ（CTBG）を定義し、ユーザ-アイテム相互作用を表現する。
• 連続時刻を時刻ベクトルにマッピングするための時間カーネルを導入する。
• ノード埋め込みと時刻ベクトルの両方を用いて近隣ノード間の注意を計算する、時間的協調変換器（TCT）層を提案する。
• 協調注意メカニズムを介して、TCT層が逐次遷移と協調信号の両方からの情報を集約できるようにする。
• 時間的グラフを介して埋め込みを伝搬させ、逐次的および協調的信号を統合するとともに、時間的ダイナミクスを保持する。
• BPR損失を最適化することで順序付けを最適化し、BCE損失よりも逐次推薦の目的関数に適合する。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、連続時刻における逐次パターンと時間的協調信号を効果的にモデリングできるか？
• RQ2 時間的協調信号を統合することで、単一の逐次パターンに依存するモデルと比較して、推薦性能がどの程度向上するか？
• RQ3 時間に敏感な注意メカニズムは、ユーザの好みダイナミクスのモデリングをどの程度向上させるか？
• RQ4 特にTCT層と時間的グラフ伝搬が、性能向上にどの程度寄与しているか？
• RQ5 連続時刻モデリングと離散的時刻または時刻無視型アプローチの違いが、推薦品質に与える影響は何か？

主な発見

• TGSRecは、5つの実世界データセットにおいて、強力なベースライン比でRecall@10で最大22.5%、MRRで22.1%の絶対的向上を達成する。
• アブレーションスタディの結果、ユーザまたはアイテム埋め込みからの時刻ベクトルを削除すると性能が著しく低下し、時間推論の重要性が裏付けられる。
• 時間的注意重みの可視化により、動的で時間依存的な注意パターンが確認され、モデルが連続時刻ダイナミクスを捕捉できていることが裏付けられる。
• 唯一TGSRecが、正しい時間窓内で真値アイテム（Killing Joke）を上位4位以内に正しく推薦できたが、SASRecとTiSASRecは失敗した。
• BPR最適化ベースラインを上回った性能は、提案された損失関数とアーキテクチャが順序付け性能を共同で向上させていることを示している。
• 性能はユーザの時刻ベクトルに最も敏感であり、ユーザの好みの進化がアイテムのダイナミクスよりもより動的であることが示唆され、モデル設計と整合的である。