[論文レビュー] Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation

Huixuan Chi, Hao Xu+6 more|arXiv (Cornell University)|Aug 1, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、タイムスタンプを伴うユーザー行動履歴に基づき、メッセージ送信、集約、更新の3つの操作を備えたメモリ機構を用いて、ユーザーの短期的嗜好の進化を明示的にモデル化する、連続時刻における順序推薦のための新規な動的グラフ手法LSTSRを提案する。5つのデータセットにおいて最先端の手法を上回る性能を示し、特にRecall@10において顕著な向上を示しており、メモリ機構を有効化した場合、Recall@10は0.7232から0.8635に向上する。

ABSTRACT

Modeling the evolution of user preference is essential in recommender systems. Recently, dynamic graph-based methods have been studied and achieved SOTA for recommendation, majority of which focus on user's stable long-term preference. However, in real-world scenario, user's short-term preference evolves over time dynamically. Although there exists sequential methods that attempt to capture it, how to model the evolution of short-term preference with dynamic graph-based methods has not been well-addressed yet. In particular: 1) existing methods do not explicitly encode and capture the evolution of short-term preference as sequential methods do; 2) simply using last few interactions is not enough for modeling the changing trend. In this paper, we propose Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation (LSTSR) to capture the evolution of short-term preference under dynamic graph. Specifically, we explicitly encode short-term preference and optimize it via memory mechanism, which has three key operations: Message, Aggregate and Update. Our memory mechanism can not only store one-hop information, but also trigger with new interactions online. Extensive experiments conducted on five public datasets show that LSTSR consistently outperforms many state-of-the-art recommendation methods across various lines.

研究の動機と目的

• 動的グラフベースのレコメンデーションシステムにおいて、動的かつ変化しやすい短期的嗜好の進化をモデル化するというギャップを埋める。
• 従来の動的グラフ手法が主に安定した長期的嗜好に焦点を当てているという制限を克服する。
• 最近のインタラクションだけでなく、時間的トレンドを捉えることができる、短期的嗜好の進化を明示的に符号化・最適化するためのメモリ機構を用いる。
• 統一された動的グラフフレームワーク内で長期的および短期的嗜好モデリングを効果的に統合する。
• ストリーミング推論をサポートする、トリガー可能なメモリ機構を介して短期的埋め込みのオンライン適応を可能にする。

提案手法

• ユーザーのインタラクション履歴から連続時刻動的グラフ（CTDG）を構築し、タイムスタンプを伴う進化するユーザー・アイテム関係を表現する。
• ユーザーおよびアイテム埋め込みを連続時刻表現とメモリ機構を組み合わせた長短一時埋め込み層を導入する。
• 3つの操作からなるメモリ機構を設計する：メッセージ（時刻に敏感な埋め込みを用いて文脈に適したメッセージを生成）、集約（隣接ノードのメッセージを集約して嗜好表現を形成）、更新（GRU/LSTMなどのRNNを用いて時間経過に伴う短期的埋め込みを更新）。
• 進化するグラフからの動的共同信号を捉えるために、DSACF（動的自己注意付き共同フィルタリング）を備えた動的協調変換器を適用する。
• 最適化にBPR損失を用い、類似度スコアリングにより次回のアイテム推薦を予測する。
• 推論効率を向上させるために、動的近隣サンプリングと最終時刻集約を活用し、トレーニングと推論においてそれぞれTGSRec比で約5倍および10倍の高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 動的グラフベースの手法は、変化が速くトレンド主導のユーザーの短期的嗜好の進化を効果的にモデル化できるか？
• RQ2 最近のインタラクションに依存するのではなく、メモリ機構を用いて短期的嗜好を明示的に符号化することで、推薦性能がどのように向上するか？
• RQ3 連続時刻埋め込みと動的共同信号（DSACF）は、嗜好のダイナミクスをモデル化する上でどのような影響を及ぼすか？
• RQ4 メモリ機構は、ストリーミング推薦シナリオにおける性能向上とオンライン適応をどの程度向上させるか？
• RQ5 長期的および短期的嗜好をモデル化するには深層アーキテクチャが必要か、それとも効果的なメモリ機構があれば浅い構造で十分か？

主な発見

• LSTSRの完全モデルは、5つの公開データセットすべての指標で最良の性能を達成し、複数の最先端ベースラインを上回る。
• メモリ機構を単体で適用した場合、WikipediaデータセットにおけるRecall@10が0.7232から0.8635に上昇し、短期的嗜好の進化モデル化におけるその重要性を示している。
• 連続時刻埋め込みとDSACFは、動的進化と共同信号を捉える上で不可欠であり、それらを除去すると性能が著しく低下する。
• 1層のLSTSRでも長期的および短期的嗜好を効果的に捉えることができ、深層アーキテクチャ（例：LSTSR-2l）では僅かな向上しか得られない。
• 効率的なメモリ表現と動的近隣サンプリングのおかげで、LSTSRはトレーニングと推論においてそれぞれTGSRec比で約5倍および10倍の高速化を達成する。
• アブレーションスタディにより、メモリ機構が1ホップの情報を保存し、新しいインタラクションでトリガーされることで、強固で効率的なオンライン推論が可能であることが確認された。