[論文レビュー] Less is More: Reweighting Important Spectral Graph Features for Recommendation

Shaowen Peng, Kazunari Sugiyama+1 more|arXiv (Cornell University)|Apr 24, 2022

Recommender Systems and Techniques被引用数 5

ひとこと要約

本稿では、GCNベースのレコメンデーションシステムにおける従来の近隣集約の代わりに、最も重要なスペクトル的グラフ特徴——近隣の滑らかさと差分——のみを再重み付けするグラフノイズ除去エンコーダー（GDE）を提案する。バンドパスフィルタとして機能することで、ノイズを低減し、過剰な滑らかさを回避し、5つの実世界データセットにおいてLightGCNと比較して12倍高速なトレーニングを実現しながら、最先端の性能を達成する。

ABSTRACT

As much as Graph Convolutional Networks (GCNs) have shown tremendous success in recommender systems and collaborative filtering (CF), the mechanism of how they, especially the core components ( extit{i.e.,} neighborhood aggregation) contribute to recommendation has not been well studied. To unveil the effectiveness of GCNs for recommendation, we first analyze them in a spectral perspective and discover two important findings: (1) only a small portion of spectral graph features that emphasize the neighborhood smoothness and difference contribute to the recommendation accuracy, whereas most graph information can be considered as noise that even reduces the performance, and (2) repetition of the neighborhood aggregation emphasizes smoothed features and filters out noise information in an ineffective way. Based on the two findings above, we propose a new GCN learning scheme for recommendation by replacing neihgborhood aggregation with a simple yet effective Graph Denoising Encoder (GDE), which acts as a band pass filter to capture important graph features. We show that our proposed method alleviates the over-smoothing and is comparable to an indefinite-layer GCN that can take any-hop neighborhood into consideration. Finally, we dynamically adjust the gradients over the negative samples to expedite model training without introducing additional complexity. Extensive experiments on five real-world datasets show that our proposed method not only outperforms state-of-the-arts but also achieves 12x speedup over LightGCN.

研究の動機と目的

• グラフ畳み込みネットワーク（GCNs）が推薦性能にどのように寄与するかを調査すること、特に近隣集約の役割を明らかにすること。
• データスパarsity下でも、推薦精度に最も有益なスペクトル的グラフ特徴を同定すること。
• ノイズの強調と過剰な滑らかさを引き起こす繰り返し近隣集約の非効率性に対処すること。
• 性能を維持または向上させつつ、よりシンプルで効率的なGCNベースの協調フィルタリングの代替手段を設計すること。
• 追加の複雑性を加えずに、負例に対する勾配の動的調整によりトレーニングを高速化すること。

提案手法

• 隣接行列をスペクトル的特徴に分解することで、GCNをスペクトル的視点から分析し、意味のある成分を分離する。
• 近隣の滑らかさと差分を強調する少数のスペクトル的特徴のみが、推薦精度の向上に顕著に寄与することが同定される。
• グラフノイズ除去エンコーダー（GDE）を提案し、バンドパスフィルタとして機能させ、最も情報の多いスペクトル的特徴のみを保持し、ノイズを除外する。
• GDEは、GCNにおける標準的な近隣集約メカニズムを置き換え、高次結合性を捉えるために深層スタックの必要性を排除する。
• 適応的損失関数により、負例に対する勾配の大きさを動的に調整し、トレーニング中の収束を加速する。
• 追加の非線形性や埋め込み変換を一切用いずに、確率的最適化を用いてエンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 どのスペクトル的グラフ特徴が推薦精度の向上に最も影響を与えるか？
• RQ2 複数のGCN層をスタックすることで性能が向上するのはなぜか？このメカニズムは効率的か？
• RQ3 近隣集約を、より効果的かつ効率的なメカニズムに置き換えることは可能か？その際、重要なグラフ信号を保持できるか？
• RQ4 モデルの複雑性を増加させずに、GCNベースのレコメンデーションシステムにおけるトレーニング収束をどのように高速化できるか？
• RQ5 よりシンプルなアーキテクチャが、深層GCNバージョンを凌駆することができ、かつ著しく高速化できるか？

主な発見

• 近隣の滑らかさと差分を強調する少数のスペクトル的特徴のみが、推薦精度の向上に顕著に寄与する。
• 大多数のスペクトル的特徴はノイズとして機能し、性能を低下させる。これは、すべてのグラフ情報が有用であるという仮定に反する。
• GCNにおける繰り返し近隣集約は滑らかさ特徴を強調するが、ノイズのフィルタリングが不十分であるため、過剰な滑らかさと非効率性を引き起こす。
• 提案されたグラフノイズ除去エンコーダー（GDE）は、層のスタックを必要とせず、直接的に重要なスペクトル的特徴を捉えることで、深層GCNモデルと同等またはそれ以上の性能を達成する。
• 本手法は、LightGCNと比較して12倍の高速化を達成し、5つの実世界の推薦データセットにおいてSOTAベースラインを上回る。
• 負例に対する勾配の動的調整により、追加のモデル複雑性を加えずにトレーニング収束が著しく高速化される。