[論文レビュー] UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation

Kelong Mao, Jieming Zhu+4 more|arXiv (Cornell University)|Oct 28, 2021

Recommender Systems and Techniques参考文献 35被引用数 34

ひとこと要約

UltraGCN は、協調フィルタリングのための GCN で明示的な多層メッセージパッシングをスキップし、無限層収束を近似する制約ベースの損失を用いて高い推奨性能と大幅な学習速度向上を実現する。

ABSTRACT

With the recent success of graph convolutional networks (GCNs), they have been widely applied for recommendation, and achieved impressive performance gains. The core of GCNs lies in its message passing mechanism to aggregate neighborhood information. However, we observed that message passing largely slows down the convergence of GCNs during training, especially for large-scale recommender systems, which hinders their wide adoption. LightGCN makes an early attempt to simplify GCNs for collaborative filtering by omitting feature transformations and nonlinear activations. In this paper, we take one step further to propose an ultra-simplified formulation of GCNs (dubbed UltraGCN), which skips infinite layers of message passing for efficient recommendation. Instead of explicit message passing, UltraGCN resorts to directly approximate the limit of infinite-layer graph convolutions via a constraint loss. Meanwhile, UltraGCN allows for more appropriate edge weight assignments and flexible adjustment of the relative importances among different types of relationships. This finally yields a simple yet effective UltraGCN model, which is easy to implement and efficient to train. Experimental results on four benchmark datasets show that UltraGCN not only outperforms the state-of-the-art GCN models but also achieves more than 10x speedup over LightGCN. Our source code will be available at https://reczoo.github.io/UltraGCN.

研究の動機と目的

• 大規模リコメンダーシステムにおける GCN ベースの協調フィルタリングのより効率的な必要性を動機づける。
• LightGCN および関連モデルの明示的メッセージパッシングの制約を特定する。
• 無限層のグラフ畳み込みを制約損失で近似する UltraGCN を提案する。
• 訓練効率を維持しつつ異なるリレーションタイプの重み付けの柔軟性を実現する。
• 標準ベンチマークデータセットでの高精度と効率性を示す。

提案手法

• Explicit な多層メッセージパッシングをスキップし、無限層の収束状態を制約損失で近似する超簡略化 GCN、UltraGCN を定式化する。
• 収束表現 e_u = sum_{i in N(u)} beta_{u,i} e_i を導出し、サインモジュール化に基づく最適化でコサイン類似度を最大化する制約損失 L_C を用いる。
• 過平滑化を緩和するためのネガティブサンプリングを組み込み、陽性ペアと陰性ペアを含む L_C を得る。
• アイテム-アイテムグラフの制約 L_I を拡張し、アイテムごとに上位 K 個の類似アイテムを選択して omega_{i,j } でペアをウェイト付けし、アイテム-アイテムの関係性を捉える。
• 損失を L = L_O + lambda L_C + gamma L_I に統合し、ユーザー-アイテム情報とアイテム-アイテム情報の柔軟なバランスを可能にする。
• モデルの複雑さと UltraGCN が MF および LightGCN と比較して効率性とパラメータ数の点でどう異なるかを論じる。

実験結果

リサーチクエスチョン

• RQ1 CF 指向の GCN における明示的なメッセージパッシングを、無限層収束状態を近似する制約ベースの学習目的に置換できるか。
• RQ2 異なる関係タイプ（ユーザー-アイテム、アイテム-アイテム、潜在的にはユーザー-ユーザー）を最適な推奨性能と訓練効率のバランスでどう重み付けすべきか。
• RQ3 選択的に重み付けされたアイテム-アイテム制約を組み込むことで性能が向上し、スケーラビリティを損なわないか。
• RQ4 標準ベンチマークで UltraGCN を採用した場合の精度と学習速度の経験的向上はどの程度か。

主な発見

Model	Amazon-Book Recall@20	Amazon-Book NDCG@20	Yelp2018 Recall@20	Yelp2018 NDCG@20	Gowalla Recall@20	Gowalla NDCG@20	Movielens-1M Recall@20	Movielens-1M NDCG@20
UltraGCN	0.0681	0.0556	0.0683	0.0561	0.1862	0.1580	0.2787	0.2642
UltraGCN Base	0.0504	0.0393	0.0667	0.0552	0.1845	0.1566	0.2671	0.2539

• UltraGCN は四つのデータセットで最先端または競合的な性能を達成し、最も強力な GCN ベースライン（例: DGCF）を大幅に上回る。例えば Amazon-Book で Recall@20 が最大 61.4%、NDCG@20 が最大 71.6% の向上。
• UltraGCN Base およびアイテム-アイテム学習を用いた UltraGCN はベースラインを一貫して上回り、制約ベースのアプローチと選択的アイテム-アイテム学習の利点を示す。
• UltraGCN は顕著な学習効率を提供し、LightGCN に対して最大約 14 倍の速度アップや学習エポック数と時間の顕著な短縮を示す（例: Amazon-Book で収束まで 75 エポック、総計約 45 分）。
• 最適化には統一 BCE損失フレームワークを使用し、典型的なハイパーパラメータ（K、R、埋め込みサイズ）を考慮すると MF と同等の複雑さで優れたスケーラビリティを示す。
• エッジ重みと制約係数（beta および omega）は、CF タスクにおけるユーザー-アイテムおよびアイテム-アイテム関係のより解釈可能で妥当な表現を提供する。