[論文レビュー] Beyond Smoothing: Unsupervised Graph Representation Learning with Edge Heterophily Discriminating

Yixin Liu, Yizhen Zheng+3 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

GREETは、学習可能なエッジ識別器を用いて同型的エッジと異型的エッジを区別することで、二重チャネル表現学習を可能にする非教師付きグラフ表現学習手法を提案する。ピvットアンカーランキング損失と対照的学習を活用することで、同型的および異型的グラフの両方で最先端の性能を達成し、構造的攻撃に対して頑健で、一般化性能に優れる。

ABSTRACT

Unsupervised graph representation learning (UGRL) has drawn increasing research attention and achieved promising results in several graph analytic tasks. Relying on the homophily assumption, existing UGRL methods tend to smooth the learned node representations along all edges, ignoring the existence of heterophilic edges that connect nodes with distinct attributes. As a result, current methods are hard to generalize to heterophilic graphs where dissimilar nodes are widely connected, and also vulnerable to adversarial attacks. To address this issue, we propose a novel unsupervised Graph Representation learning method with Edge hEterophily discriminaTing (GREET) which learns representations by discriminating and leveraging homophilic edges and heterophilic edges. To distinguish two types of edges, we build an edge discriminator that infers edge homophily/heterophily from feature and structure information. We train the edge discriminator in an unsupervised way through minimizing the crafted pivot-anchored ranking loss, with randomly sampled node pairs acting as pivots. Node representations are learned through contrasting the dual-channel encodings obtained from the discriminated homophilic and heterophilic edges. With an effective interplaying scheme, edge discriminating and representation learning can mutually boost each other during the training phase. We conducted extensive experiments on 14 benchmark datasets and multiple learning scenarios to demonstrate the superiority of GREET.

研究の動機と目的

• 既存の非教師付きグラフ表現学習（UGRL）手法が同型性仮定に依存し、すべてのエッジで滑らかな表現を生成するという制限に対処すること。
• ノード特徴量とグラフ構造を用いて、同型的（類似ノード）エッジと異型的（類似でないノード）エッジを区別する非教師付きエッジ識別メカニズムを構築すること。
• エッジ識別と二重チャネル表現学習を統合したエンドツーエンドフレームワークを構築し、両者を相互に強化すること。
• 構造的攻撃に対して頑健で、同型性に基づく手法が失敗する異型的グラフでも一般化性能を向上させること。

提案手法

• ノード特徴量と構造的符号化を用いてエッジの同型性／異型性を推定する学習可能なエッジ識別器を提案する。
• ランダムに抽出されたノードペアをピボットとして用いるピボットアンカーランキング損失を導入し、エッジ識別の教師信号を提供し、エッジ類似度の相対的外れ具合を最小化する。
• 同型的および異型的エッジから別々の表現を生成する二重チャネルグラフエンコーダーを採用し、対照的学習を可能にする。
• 接続されたノードの表現を一致させつつ、類似でないペアの表現を分離する、頑健な二重チャネル対照的損失を用いる。
• エッジ識別と表現学習が交互に相互に強化するように、交互訓練戦略を適用する。
• エッジ識別器への入力として、GNNからの構造的符号化（例：GNN）を統合し、識別精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量とグラフ構造のみを用いて、非教師的に同型的および異型的エッジを効果的に区別できるか？
• RQ2 エッジ識別を表現学習とどのように統合することで、モデル性能を共同で向上させられるか？
• RQ3 同型的および異型的エッジ信号を分離することで、標準の平滑化ベース手法と比較して異型的グラフにおける一般化性能が向上するか？
• RQ4 提案手法は構造的摂動や敵対的攻撃に対しても頑健性を維持できるか？

主な発見

• GREETは14のベンチマークデータセットで最先端の性能を達成し、ノード分類、クラスタリング、リンク予測の各タスクで既存の非教師付きGNNを上回った。
• 異型的Texasデータセットでは、ノード分類で83.62%の精度を達成し、GRACE（72.58%）や他のベースラインと比べ顕著に優れた性能を示した。
• 除去実験では、エッジ識別器や二重チャネル符号化を削除すると性能が5%以上低下し、これらが重要な役割を果たしていることを確認した。
• ピボットアンカーランキング損失はエッジ識別に対する頑健性を向上させ、ピボットを除去した場合、Corraで3.8%の精度低下を示した。
• 可視化結果から、GREETは表現空間において同型的および異型的エッジを効果的に分離しており、異型的エッジはほぼゼロの類似度を示していることが確認された。
• Coraで50%のランダム構造的攻撃に対しても、GREETは高い性能を維持したのに対し、他のモデルは著しく性能を低下させた。