[論文レビュー] Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach

Lei Chen, Le Wu+3 more|arXiv (Cornell University)|Jan 28, 2020

Recommender Systems and Techniques参考文献 34被引用数 13

ひとこと要約

本稿では、非線形活性化関数を排除し、深層GCNにおける過剰平滑化を軽減するための線形残差グラフ畳み込みネットワークであるLR-GCCFを提案する。このモデルは、大規模かつスパースなユーザ-アイテムグラフにおいて、高速な学習と優れたスケーラビリティを実現し、Amazon BooksおよびGowallaデータセットで既存のGCNベースの手法を上回る推薦性能を達成する。

ABSTRACT

Graph Convolutional Networks (GCNs) are state-of-the-art graph based representation learning models by iteratively stacking multiple layers of convolution aggregation operations and non-linear activation operations. Recently, in Collaborative Filtering (CF) based Recommender Systems (RS), by treating the user-item interaction behavior as a bipartite graph, some researchers model higher-layer collaborative signals with GCNs. These GCN based recommender models show superior performance compared to traditional works. However, these models suffer from training difficulty with non-linear activations for large user-item graphs. Besides, most GCN based models could not model deeper layers due to the over smoothing effect with the graph convolution operation. In this paper, we revisit GCN based CF models from two aspects. First, we empirically show that removing non-linearities would enhance recommendation performance, which is consistent with the theories in simple graph convolutional networks. Second, we propose a residual network structure that is specifically designed for CF with user-item interaction modeling, which alleviates the over smoothing problem in graph convolution aggregation operation with sparse user-item interaction data. The proposed model is a linear model and it is easy to train, scale to large datasets, and yield better efficiency and effectiveness on two real datasets. We publish the source code at https://github.com/newlei/LRGCCF.

研究の動機と目的

• 深層GCNベースの協調フィルタリングモデルにおける学習の難しさと過剰平滑化の問題に対処すること。
• GCNベースの推薦システムにおいて非線形活性化関数が本当に必要かどうかを調査すること。
• ユーザーの独自性を保ちながら高次の協調信号をモデル化するための残差学習メカニズムを設計すること。
• 大規模推薦システムに適したスケーラブルで効率的かつ効果的な線形GCNモデルを開発すること。

提案手法

• 非線形活性化関数を線形埋め込み伝播に置き換えることで、複雑さを低減し、学習効率を向上させる線形グラフ畳み込みネットワーク（L-GCCF）を提案する。
• 各層でユーザー-アイテムの好みの差を明示的にモデル化する残差好み学習モジュールを導入し、過剰平滑化を是正する。
• ResNetにインspiredされた残差接続構造を採用し、各層が前の層の表現からの埋め込みの残差を学習する。
• ユーザ-アイテム双方向グラフにおけるKホップ近傍の再帰的集合を用いて、高次の協調信号を捉える。
• 非線形性を含まない線形変換を用いて埋め込み伝播を実行し、最適化プロセスを単純化する。
• 線形伝播と残差学習を組み合わせることで、ユーザーの独自性の維持と深い協調パターンのモデル化を同時に実現する。

実験結果

リサーチクエスチョン

• RQ1 GCNベースの協調フィルタリングモデルから非線形活性化関数を除去することで、推薦性能と学習安定性が向上するか？
• RQ2 残差学習メカニズムは、スパースなユーザ-アイテム相互作用グラフにおける深層GCNの過剰平滑化問題を効果的に軽減できるか？
• RQ3 線形伝播と残差学習を組み合わせた場合、グラフ畳み込み層の深さが性能に与える影響は何か？
• RQ4 大規模推薦システムにおいて、非線形GCNと比較して線形GCNモデルがより優れた効率性とスケーラビリティを達成できるか？

主な発見

• GCNベースのCFモデルから非線形活性化関数を除去することで、推薦性能の向上と高速な学習が達成され、簡略化されたGCNにおける理論的結果と整合的である。
• 提案されたLR-GCCFモデルは、Amazon BooksおよびGowallaデータセットの両方で最先端の性能を達成し、NGCF、PinSage、その他のGCNベースのベースラインを上回っている。
• Amazon BooksではK=4でHR@20が0.0341、NDCG@20が0.0258を達成し、テストされたすべてのモデルの中で最高性能を記録した。
• Gowallaでは最適な性能がK=3で達成され、HR@20が0.1518、NDCG@20が0.1259であった。
• Amazon BooksでK=4の条件で、LR-GCCFは1エポックあたり約20秒で学習が完了し、PinSage（38秒）およびNGCF（38秒）と比較して顕著に高速であった。
• LR-GCCFにおけるユーザー埋め込みのコサイン類似度は、非残差バージョン（L-GCCF）と比較してより高い分散を示しており、実証的に残差学習が過剰平滑化を軽減し、ユーザーの特異性を保持していることを裏付けた。