[論文レビュー] SVD-GCN: A Simplified Graph Convolution Paradigm for Recommendation

Shaowen Peng, Kazunari Sugiyama+1 more|arXiv (Cornell University)|Aug 26, 2022

Recommender Systems and Techniques被引用数 7

ひとこと要約

SVD-GCN は、近隣集約の代わりに切り捨て特異値分解（SVD）を用いることで、推薦のための簡素化されたグラフ畳み込みパラダイムを提案する。これは、最大 K 個の特異ベクトルに焦点を当てることで、高い効率性を達成し、過剰平滑化を軽減する。SVD-GCN は LightGCN よりも 100 倍以上高速であり、MF よりも 10 倍高速である一方で、3 つの実世界データセットにおいて最先端の手法を上回る性能を達成している。

ABSTRACT

With the tremendous success of Graph Convolutional Networks (GCNs), they have been widely applied to recommender systems and have shown promising performance. However, most GCN-based methods rigorously stick to a common GCN learning paradigm and suffer from two limitations: (1) the limited scalability due to the high computational cost and slow training convergence; (2) the notorious over-smoothing issue which reduces performance as stacking graph convolution layers. We argue that the above limitations are due to the lack of a deep understanding of GCN-based methods. To this end, we first investigate what design makes GCN effective for recommendation. By simplifying LightGCN, we show the close connection between GCN-based and low-rank methods such as Singular Value Decomposition (SVD) and Matrix Factorization (MF), where stacking graph convolution layers is to learn a low-rank representation by emphasizing (suppressing) components with larger (smaller) singular values. Based on this observation, we replace the core design of GCN-based methods with a flexible truncated SVD and propose a simplified GCN learning paradigm dubbed SVD-GCN, which only exploits $K$-largest singular vectors for recommendation. To alleviate the over-smoothing issue, we propose a renormalization trick to adjust the singular value gap, resulting in significant improvement. Extensive experiments on three real-world datasets show that our proposed SVD-GCN not only significantly outperforms state-of-the-arts but also achieves over 100x and 10x speedups over LightGCN and MF, respectively.

研究の動機と目的

• GCN を用いた推薦システムにおけるスケーラビリティと過剰平滑化の問題に対処すること。
• LightGCN の分析を通じて、GCN が推薦に有効である根本的なメカニズムを解明すること。
• 反復的メッセージパッシングを回避する、簡素化され、効率的でスケーラブルな GCN 学習パラダイムを提案すること。
• モデルパラメータとトレーニングコストを削減しながら、推薦性能を維持または向上させること。
• 低ランク行列分解の原則に基づいた、理論的に裏付けられた GCN に基づく手法の代替案を提供すること。

提案手法

• GCN を用いた手法のコア設計を、ユーザー・アイテム相互作用行列の最大 K 個の特異ベクトルのみを保持する柔軟な切り捨て SVD に置き換える。
• 過剰平滑化を防ぎ、重要な協調信号を保持するために、特異値ギャップを調整する再正規化トリックを導入する。
• 追加のモデルパラメータを追加せずに、ユーザー同士およびアイテム同士の関係を活用し、特徴表現を強化する。
• 理論的分析により、GCN レイヤーを積み重ねることは、大きな特異値に注目する低ランク表現を学習することに等しいことが示される。
• 標準的な推薦損失関数を用いて、確率的勾配降下法でエンドツーエンドにモデルを訓練する。
• SVD を用いて直接的に低ランク近似を計算することで、反復的メッセージパッシングを回避する。

実験結果

リサーチクエスチョン

• RQ1 GCN を用いたモデルが推薦に有効である根本的なメカニズムは何か？
• RQ2 性能は優れているものの、GCN を用いたモデルがなぜ過剰平滑化とスケーラビリティの問題を抱えるのか？
• RQ3 GCN のコアとなるメッセージパッシングメカニズムを、より効率的で解釈可能な代替案に置き換えることは可能か？
• RQ4 最大特異値が推薦性能にどの程度寄与しているのか？
• RQ5 単純な SVD を用いたアプローチは、複雑な GCN アーキテクチャーよりも、精度と効率の両面で優れていると言えるか？

主な発見

• SVD-GCN は LightGCN よりも 100 倍以上の高速化を達成し、トレーニング効率が著しく向上した。
• SVD-GCN は、従来の行列分解（MF）手法よりも 10 倍以上の高速化を達成した。
• SVD-GCN は、3 つの実世界の推薦データセットにおいて、最先端の手法を精度面で上回った。
• 実証的分析により、相互作用行列の 95% 以上の情報がノイズであり、性能に劣化を来さずに安全に削除可能であることが示された。
• 再正規化トリックにより、特異値ギャップの調整が可能となり、過剰平滑化が効果的に低減され、重要な協調信号が保持された。
• 最大 K 個の特異ベクトル（MF のパラメータの 1% 未満）のみで十分に最適な性能が達成可能であり、高いパラメータ効率性が示された。