[論文レビュー] Parameter-free Dynamic Graph Embedding for Link Prediction

Jiahao Liu, Dongsheng Li+4 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

FreeGEM は、リンク予測のためのパラメータフリーな動的グラフ埋め込み手法であり、オンライン・モニタリング・オフラインアーキテクチャを用いて共同ユーザー関係とパーソナライズドなインタラクションパターンを分離することで、リアルタイムで効率的な埋め込み更新を実現する。バックプロパゲーションを回避することで、SOTAの精度を上回りながら36倍以上の高速化を達成し、ユーザー属性の統合によりコールドスタートと公平性の性能を向上させる。

ABSTRACT

Dynamic interaction graphs have been widely adopted to model the evolution of user-item interactions over time. There are two crucial factors when modelling user preferences for link prediction in dynamic interaction graphs: 1) collaborative relationship among users and 2) user personalized interaction patterns. Existing methods often implicitly consider these two factors together, which may lead to noisy user modelling when the two factors diverge. In addition, they usually require time-consuming parameter learning with back-propagation, which is prohibitive for real-time user preference modelling. To this end, this paper proposes FreeGEM, a parameter-free dynamic graph embedding method for link prediction. Firstly, to take advantage of the collaborative relationships, we propose an incremental graph embedding engine to obtain user/item embeddings, which is an Online-Monitor-Offline architecture consisting of an Online module to approximately embed users/items over time, a Monitor module to estimate the approximation error in real time and an Offline module to calibrate the user/item embeddings when the online approximation errors exceed a threshold. Meanwhile, we integrate attribute information into the model, which enables FreeGEM to better model users belonging to some under represented groups. Secondly, we design a personalized dynamic interaction pattern modeller, which combines dynamic time decay with attention mechanism to model user short-term interests. Experimental results on two link prediction tasks show that FreeGEM can outperform the state-of-the-art methods in accuracy while achieving over 36X improvement in efficiency. All code and datasets can be found in https://github.com/FudanCISL/FreeGEM.

研究の動機と目的

• 共同ユーザー関係とパーソナライズドなインタラクションパターンが乖離する可能性がある動的インタラクショングラフにおけるノイズの多いユーザーモデリングの課題に対処すること。
• 動的リンク予測における時間のかかるバックプロパゲーションを回避するために、パラメータフリーなフレームワークを導入すること。
• 属性統合埋め込み学習を通じて、レアユーザー群のコールドスタートと公平性を向上させること。
• 最小限の計算オーバーヘッドでリアルタイムかつスケーラブルなリンク予測を可能にすること。
• 動的グラフ環境における高い精度を実現するため、協調フィルタリングとパーソナライズドな関心モデリングを分離すること。

提案手法

• FreeGEM はオンライン・モニタリング・オフラインアーキテクチャを採用：オンラインモジュールは閉形式のオンラインSVDによりリアルタイムで埋め込みを更新；モニターモジュールはリアルタイムで近似誤差を推定；オフラインモジュールは誤差がしきい値を超えた際に埋め込みを再キャリブレーション。
• オフラインモジュールは周波数に配慮した好み行列再構築と属性統合SVDを用い、過剰平滑化の緩和とコールドスタート効果の低減を実現。
• パーソナライズドな動的インタラクションパターンモデラーは、動的時間割り引けどもととアテンションメカニズムを組み合わせ、最近のインタラクションを優先し、ユーザー固有の短期的関心を捉える。
• 動的時間割り引けどもとにより、初期のインタラクションが選択的に忘れられ、モデルが最近のユーザー行動に焦点を当てる。
• アテンションメカニズムは、'割引'されたアイテム埋め込みシーケンス上で動作し、個々のユーザーのインタラクションパターンをモデル化する。
• すべてのモジュールがパラメータフリーであるため、バックプロパゲーションを回避し、高い計算効率を実現。

実験結果

リサーチクエスチョン

• RQ1 共同関係とパーソナライズドなインタラクションパターンの分離が、動的グラフにおけるリンク予測精度を向上させ得るか？
• RQ2 パラメータフリーなアプローチが、動的リンク予測において精度を犠牲にせず、高い効率性を達成できるか？
• RQ3 SVDにおける属性統合が、コールドスタートおよびレアユーザー群のパフォーマンスを向上させ得るか？
• RQ4 オンライン・モニタリング・オフラインアーキテクチャは、リアルタイム更新を可能にしつつ、精度を維持できるか？
• RQ5 この手法は、性別グループ間の推薦パフォーマンスに差を生じさせない程度に、バイアスをどの程度低減できるか？

主な発見

• FreeGEM は、JODIE や CoPE といったSOTA手法と比較して、計算効率が36倍以上向上し、インタラクション量の増加に伴う実行時間の増加も限定的である。
• 将来のアイテム推薦タスクにおいて、FreeGEM はSOTA手法を上回る精度を達成し、属性統合によりコールドスタートユーザーのRecall@10が相対的に166%向上した。
• 事前にRecall@10が0だった7人のコールドスタートユーザーについて、FreeGEM は平均でRecall@10を0.100まで向上させ、優れたコールドスタート性能を示した。
• FreeGEM はデータスパarsityに対して高いロバスト性を示し、訓練データセットの割合が10%から80%の範囲でもパフォーマンスが安定した。
• ML-100Kにおけるユーザー属性統合後、男性と女性ユーザー間のリコメンデーションのリコールギャップは45.9%から22.8%に減少し、推薦におけるジェンダーバイアスが低減したことを示した。
• 属性統合SVDは、ML-100Kにおける女性ユーザーなど、レアグループの埋め込み品質を顕著に向上させ、公平性とモデルの公正性を高めた。