[論文レビュー] Learning Graph ODE for Continuous-Time Sequential Recommendation

Yifang Qin, Lili Ju+3 more|arXiv (Cornell University)|Apr 14, 2023

Recommender Systems and Techniques参考文献 63被引用数 5

ひとこと要約

本稿では、常微分方程式（ODE）に基づくハイブリッド力学系を用いて連続時間における順序推薦をモデル化する、GDERecと呼ばれるグラフニューラルネットワークフレームワークを提案する。自己回帰的ODEベースのエッジ進化モジュールと時系列アテンションベースの集約モジュールを採用し、動的なユーザープレファレンスと不規則にサンプリングされた相互作用を捉えることを可能にし、5つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Sequential recommendation aims at understanding user preference by capturing successive behavior correlations, which are usually represented as the item purchasing sequences based on their past interactions. Existing efforts generally predict the next item via modeling the sequential patterns. Despite effectiveness, there exist two natural deficiencies: (i) user preference is dynamic in nature, and the evolution of collaborative signals is often ignored; and (ii) the observed interactions are often irregularly-sampled, while existing methods model item transitions assuming uniform intervals. Thus, how to effectively model and predict the underlying dynamics for user preference becomes a critical research problem. To tackle the above challenges, in this paper, we focus on continuous-time sequential recommendation and propose a principled graph ordinary differential equation framework named GDERec. Technically, GDERec is characterized by an autoregressive graph ordinary differential equation consisting of two components, which are parameterized by two tailored graph neural networks (GNNs) respectively to capture user preference from the perspective of hybrid dynamical systems. The two customized GNNs are trained alternately in an autoregressive manner to track the evolution of the underlying system from irregular observations, and thus learn effective representations of users and items beneficial to the sequential recommendation. Extensive experiments on five benchmark datasets demonstrate the superiority of our model over various state-of-the-art recommendation methods.

研究の動機と目的

• 時間経過に伴うユーザープレファレンスの動的進化をモデル化する際、従来の順序推薦手法の限界を解消すること。
• 相互作用が均等にサンプリングされると仮定する従来の手法の制限を克服し、不規則にサンプリングされたユーザ-アイテム相互作用系列をモデル化すること。
• 連続時間設定において、暗黙的な時間的ダイナミクスと明示的な協調的信号を統合的に捉える統一フレームワークの構築。
• ニューラルODEとグラフネットワークを用いて、不完全で不規則な観測下でもユーザーやアイテムの有効な表現学習を可能にすること。

提案手法

• 自己回帰的ODEベースのエッジ進化モジュールを用いて、ユーザ-アイテム相互作用グラフの連続時間的進化をモデル化する、GDERecと呼ばれるグラフODEフレームワークを提案する。
• 協調的信号の時間的進化を暗黙的にモデル化する、ニューラルODEベースのGNNを導入する。
• グラフ伝搬中に時刻に依存する協調的信号を明示的に組み込むために、時系列アテンションベースのGNNを設計する。
• 不規則な観測からシステムの進化を追跡するために、2つのGNNコンponentを自己回帰的に交互に学習する。
• アテンションメカニズムに時間エンコーディングを用いることで、微細な時間的ダイナミクスと滑らかなプレファレンスシフトを捉える。
• 連続的なODE駆動進化と離散的相互作用イベントを組み合わせたハイブリッド力学系を定義し、現実世界の不規則なサンプリングをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 不規則にサンプリングされた状況下でも、連続時間におけるユーザープレファレンスの動的進化を効果的にモデル化する方法は何か？
• RQ2 グラフODEベースのフレームワークは、順序推薦において、長期的な順序依存性と協調的信号をどの程度効果的に捉えることができるか？
• RQ3 自己回帰的ODE-GNNアーキテクチャは、不規則な相互作用系列を扱う際、静的または均等にサンプリングされたモデルを上回る性能を発揮できるか？
• RQ4 時系列アテンションとODE駆動エッジ進化が、順序推薦における表現学習をどのように共同で向上させるか？

主な発見

• GDERecは5つのベンチマークデータセットで最先端の性能を達成し、既存のSOTA手法を上回っている。
• 変化するユーザーやアイテム埋め込みの可視化により、時間経過に伴うユーザープレファレンスの滑らかなシフトを効果的に捉えていることが示された。
• 時系列アテンションメカニズムにより、時間的関連性に基づいて過去の相互作用に動的重みを割り当てることができ、プレファレンス変化への感受性が向上している。
• ODEベースのエッジ進化モジュールは、不規則なサンプリング下でも協調的信号の連続的進化を効果的にモデル化している。
• t-SNE可視化により、アイテム埋め込みが時間帯ごとに意味的に意味のあるクラスタを形成しており、進化するユーザーメタ認知を反映していることが確認された。
• ケーススタディにより、GDERecは実際の行動パターンと整合するように、時間経過に伴いユーザーテイストのシフト（例：コメディからホラー映画）をモデル化できていることが確認された。