[論文レビュー] LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

Xiangnan He, Kuan Deng+4 more|arXiv (Cornell University)|Feb 6, 2020

Recommender Systems and Techniques参考文献 44被引用数 413

ひとこと要約

LightGCN は協調フィルタリングのための GCN を特徴変換と非線形活性化を除去することで単純化し、隣接ノード集約と層ごとの埋め込み混合のみを使用し、NGCF に対して顕著な利得を得る。

ABSTRACT

Graph Convolution Network (GCN) has become new state-of-the-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -- feature transformation and nonlinear activation -- contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance. In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -- neighborhood aggregation -- for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0\% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -- a state-of-the-art GCN-based recommender model -- under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives.

研究の動機と目的

• 一般的な GCN コンポーネント（特徴変換と非線形活性化）は協調フィルタリングに対して限られた効果をもたらすことを示す。
• ユーザ/アイテム埋め込みの隣接者集約に焦点を当てた簡略化されたグラフ畳み込みアプローチを提案。
• LightGCN が NGCF より同一の実験設定で恩恵を示す。
• 線形で簡潔な設計が推奨タスクにおいてなぜ良く機能するかを分析。

提案手法

• ユーザとアイテムのID埋め込みを用い、単純で対称的な正規化ベースの集約を用いてユーザー-アイテム相互作用グラフ上で伝搬させる。
• すべての伝搬層の埋め込みを均一または単純な加重和で結合して最終的なユーザ/アイテム表現を形成。
• 最終的なユーザ埋め込みとアイテム埋め込みの内積で相互作用を予測。
• 初期層の埋め込みのみを訓練し、BPR 損失と Adam 最適化を用いる。
• E^(k+1) = D^(-1/2) A D^(-1/2) E^(k) および 最終 E を層埋め込みの和として示す行列形式を提供。

実験結果

リサーチクエスチョン

• RQ1 GCN を使用する場合、特徴変換と非線形活性化は CF の性能を改善するか？
• RQ2 隣接集約のみを維持する軽量モデルは NGCF のような重い GCN ベースの CF モデルを上回れるか？
• RQ3 多層の LightGCN は標準データセットにおいて単層MFおよびNGCFとどう比較されるか？
• RQ4 長距離伝搬に対するオーバーシュmoothing を緩和する際の層結合の役割は何か？
• RQ5 LightGCN は訓練と解析を容易にしつつ競争力または優れた性能を提供するか？

主な発見

• LightGCN は Gowalla、Yelp2018、Amazon-Book データセットで recall@20 および ndcg@20 において一貫して NGCF を上回る。
• 特徴変換と非線形活性化を取り除くことは NGCF にとって有益であり、両方を取り除くとさらに利得（NGCF-fn は NGCF を上回る）。
• 層を1から3に増やすと性能が向上するが、利得は逓減; 3層は多くの場合強力な結果を示す。
• 層結合（全層の埋め込みを合成して足し合わせる）は自己接続効果を捉え、追加の複雑さを増さず表現力を向上させる。
• LightGCN は NGCF より訓練損失が低く、汎化が良好で、相対的な改善が大きい（例: 複数データセットで recall/ndcg が約16-17%程度）。
• モデルの線形で簡略化された設計は解釈性と訓練の容易さを提供し、彼らの実験設定で最先端のベースラインを上回る。