[論文レビュー] Deoscillated Graph Collaborative Filtering

Zhiwei Liu, Lin Meng+3 more|arXiv (Cornell University)|Nov 4, 2020

Recommender Systems and Techniques参考文献 28被引用数 6

ひとこと要約

本稿では、マルチレイヤー・グラフ協調フィルタリングにおける3つの主要な限界——双方向構造に起因するオシレート（振動）、変動するノードの局所性、固定された伝搬パターン——を解決する、GNNベースのレコメンデーションモデルであるDeoscillated Adaptive Graph Collaborative Filtering (DGCF) を提案する。DGCFは、情報伝搬のオシレートを解消するためのクロスホップ伝搬（CHP）層と、ノード密度に基づいて伝搬を動的に調整する局所性適応型（LA）層を導入し、レイヤー単位での適応的集約を可能にする。広範な実験により、DGCFは複数のデータセットおよび深さ設定において最先端のモデルを上回る性能を示し、より高いロバスト性と過剰平滑化の低減を実現した。

ABSTRACT

Collaborative Filtering (CF) signals are crucial for a Recommender System~(RS) model to learn user and item embeddings. High-order information can alleviate the cold-start issue of CF-based methods, which is modelled through propagating the information over the user-item bipartite graph. Recent Graph Neural Networks~(GNNs) propose to stack multiple aggregation layers to propagate high-order signals. However, the oscillation problem, varying locality of bipartite graph, and the fix propagation pattern spoil the ability of multi-layer structure to propagate information. The oscillation problem results from the bipartite structure, as the information from users only propagates to items. Besides oscillation problem, varying locality suggests the density of nodes should be considered in the propagation process. Moreover, the layer-fixed propagation pattern introduces redundant information between layers. In order to tackle these problems, we propose a new RS model, named as extbf{D}eoscillated extbf{G}raph extbf{C}ollaborative extbf{F}iltering~(DGCF). We introduce cross-hop propagation layers in it to break the bipartite propagating structure, thus resolving the oscillation problem. Additionally, we design innovative locality-adaptive layers which adaptively propagate information. Stacking multiple cross-hop propagation layers and locality layers constitutes the DGCF model, which models high-order CF signals adaptively to the locality of nodes and layers. Extensive experiments on real-world datasets show the effectiveness of DGCF. Detailed analyses indicate that DGCF solves oscillation problem, adaptively learns local factor, and has layer-wise propagation pattern. Our code is available online at https://github.com/JimLiu96/DeosciRec.

研究の動機と目的

• ユーザー・アイテムの双方向グラフに適用されたマルチレイヤーGNNにおける振動問題を形式的に定義・分析すること。
• 低次数ノードが情報伝搬が不十分になるという、双方向グラフにおけるノードの局所性の変動という課題に対処すること。
• 従来のGNNに見られる固定された伝搬パターンが、冗長的かつ非効率な情報伝搬を引き起こすという問題を克服すること。
• 高次元の協調フィルタリング信号を維持しながら、過剰平滑化やコールドスタート問題を緩和できる、深く適応可能なGNNフレームワークを設計すること。

提案手法

• 直接の隣接ノードに加え、クロスホップの隣接ノード（例：ユーザーがアイテムを通じて他のユーザーから情報を集約）からの情報集約を可能にするクロスホップ伝搬（CHP）層を提案。これにより、双方向構造に起因する振動が解消される。
• 各ノードごとにノード固有の影響要因αを学習する局所性適応型（LA）層を導入。このαは、局所的なグラフ密度に基づいて情報伝搬の範囲を制御する。
• 複数のCHP層とLA層をスタックしてDGCFを構築。各レイヤーに固有の可学習重みを備えることで、動的でレイヤー単位の伝搬パターンを実現する。
• 正規化されたラプラシアン行列と可学習影響要因を組み合わせて伝搬行列を定義。これにより、スパarsityと密度の両方の領域をバランスさせる適応的集約が可能になる。
• CHP層およびLA層の両方をエンド・トゥ・エンドで学習可能な微分可能訓練手順を採用。非微分可能なサンプリング戦略の必要性を回避する。
• ユーザーとアイテムの埋め込み学習に本モデルを適用。ユーザー・アイテムの双方向グラフ上を伝搬する協調フィルタリング信号を活用する。

実験結果

リサーチクエスチョン

• RQ1 双方向グラフにおけるマルチレイヤーGNNに振動問題が存在するか。その理論的境界は何か。
• RQ2 ユーザー・アイテムグラフにおけるノードの局所性の変動が情報伝搬に与える影響は何か。また、これを適応的に補償できるか。
• RQ3 レイヤー単位で適応的な伝搬パターンを採用することで、推薦用の深層GNNにおけるモデル性能と過剰平滑化の低減が図れるか。
• RQ4 DGCFは、既存のGNNベースのレコメンデーションシステムと比較して、振動問題をどの程度緩和できるか。

主な発見

• DGCFは、ML-1M、Yelp、Amazon、Last.FMの4つの実世界データセットにおいて最先端の性能を達成。NGCF、LightGCN、SGLなどの既存モデルを上回った。
• アブレーションスタディにより、CHPおよびLAの両コンponentが不可欠であることが確認された。CHPのみを有効化したDGCF-chp、LAのみを有効化したDGCF-laは、ベースラインモデルを大きく上回る性能を示した。
• DGCFは16層までの深層アーキテクチャにおいても安定した性能を維持したが、LightGCN や NGCF は過剰平滑化と性能低下を示した。これにより、DGCFの深さに対するロバスト性が裏付けられた。
• 学習された影響要因αとノード次数密度との相関は強く、ユーザーではρ = 0.578、アイテムではρ = 0.835であった。これにより、LA層が局所グラフ構造に基づいて適応的に伝搬をバランスさせていることが確認された。
• 伝搬パターンの可視化により、DGCFの集約パターンがレイヤーに応じて変化することが示された——初期レイヤーでは広範囲にわたる集約、深層に進むにつれて重要なエッジに焦点が当たる——これによりレイヤー単位の適応性が明確になった。
• スムーズネス指標の結果、固定された伝搬パターンを持つモデルと比較して、DGCFはより高いスムーズネスを維持していた。これは過剰平滑化の低減とより安定した学習ダイナミクスを示している。