[論文レビュー] A Robust Hierarchical Graph Convolutional Network Model for Collaborative Filtering

Shaowen Peng, Tsunenori Mine|arXiv (Cornell University)|Apr 30, 2020

Recommender Systems and Techniques参考文献 47被引用数 7

ひとこと要約

本稿では、階層的な隣接ノードメッセージの集約とレイヤーごとのメッセージドロップアウトを用いて、過剰平滑化や過学習を低減し、GCNに基づく推薦の性能を向上させるロバストな階層的グラフ畳み込みネットワーク（RH-GCCF）を提案する。モデルは、特にスパースデータセットにおいて最先端の性能を達成し、CiteULikeではベースライン比でNDCG@20で24.43%の向上を達成した。

ABSTRACT

Graph Convolutional Network (GCN) has achieved great success and has been applied in various fields including recommender systems. However, GCN still suffers from many issues such as training difficulties, over-smoothing, vulnerable to adversarial attacks, etc. Distinct from current GCN-based methods which simply employ GCN for recommendation, in this paper we are committed to build a robust GCN model for collaborative filtering. Firstly, we argue that recursively incorporating messages from different order neighborhood mixes distinct node messages indistinguishably, which increases the training difficulty; instead we choose to separately aggregate different order neighbor messages with a simple GCN model which has been shown effective; then we accumulate them together in a hierarchical way without introducing additional model parameters. Secondly, we propose a solution to alleviate over-smoothing by randomly dropping out neighbor messages at each layer, which also well prevents over-fitting and enhances the robustness. Extensive experiments on three real-world datasets demonstrate the effectiveness and robustness of our model.

研究の動機と目的

• GCNベースの協調フィルタリングにおける学習の難しさ、過剰平滑化、および敵対的攻撃への脆弱性を解消すること。
• 異なる次数の近傍からのメッセージを区別し、別々に集約することで表現学習を向上させること。
• レイヤーごとのランダムドロップアウトにより、過学習と過剰平滑化を低減すること。
• モデルの複雑さを著しく増加させることなく、データスパarsityと敵対的ノイズの下でのモデルのロバスト性を向上させること。

提案手法

• 1次、2次、それ以上の次数の近傍からのメッセージを、別々のGCNレイヤーを用いて階層的に集約することで、異なる次数のメッセージが混同されないよう回避する。
• 各次数の近傍からのメッセージは標準的なGCNを用いて独立に集約され、パラメータを含まない階層的な要素ごとの和集合により統合される。
• レイヤーごとのメッセージドロップアウト戦略を導入し、各GCNレイヤーで近傍メッセージをランダムにドロップすることで、過剰平滑化と過学習を防止する。
• 階層的集約に二値マスク操作に依存することで、追加の可学習パラメータを避けてモデルの単純性を維持する。
• 完全なグラフ伝搬を避ける代わりに複数ホップにわたる構造的情報を保持することで、スパースデータでも性能を維持するようにアーキテクチャを設計する。
• 標準的な最適化手法を用いてエンドツーエンドで学習し、ガウスノイズ、データスパarsity、エッジドロップ攻撃の下でモデルのロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増加させることなく、複数次数の近傍メッセージの階層的集約は、GCNベースの協調フィルタリングを改善できるか？
• RQ2 レイヤーごとのメッセージドロップアウトは、GCNベースの推薦モデルにおける過剰平滑化と過学習を効果的に低減できるか？
• RQ3 ガウスノイズやエッジドロップ攻撃といった敵対的攻撃の下で、提案モデルはどのように性能を発揮するか？
• RQ4 従来のGCNが性能を低下させるスパースデータセットにおいて、モデルは強力な性能を維持できるか？

主な発見

• 3つのデータセットの中で最もスパースなCiteULikeにおいて、モデルは最良のベースライン比でNDCG@20で24.43%の向上を達成し、スパースデータでの強力な性能を示した。
• より密度の高いMovielensデータセットにおいても、モデルはNDCG@20で2.24%の向上を達成し、データスパarsityのレベルに関わらず一貫した向上を示した。
• ガウスノイズおよびデータスパarsity攻撃の両方において、NGCFおよびLR-GCCFを上回り、性能低下が小さいことから、ロバスト性が確認された。
• レイヤーごとのメッセージドロップアウト戦略は、ドロップなしのベースラインおよび1次近傍のみを用いるモデルよりも一貫して性能を向上させ、その有効性が裏付けられた。
• RH-GCCFの学習時間は標準GCNの1.34倍にとどまり、階層的設計にもかかわらず許容できる計算オーバーヘッドであることが示された。
• レイヤー数が最適な深さを超えると性能が低下する傾向を示しており、過剰なメッセージ伝搬がノイズを導入し、利得を減少させることを示唆している。