[論文レビュー] Learning Robust Node Representations on Graphs.

Xu Chen, Ya Zhang+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Graph Neural Networks参考文献 41被引用数 4

ひとこと要約

本稿では、安定性、滑らかさ、識別可能性を同時に最適化することで、ノード表現のロバスト性を向上させる、未学習のフレームワークである対照的グラフニューラルネットワーク（CGNN）を提案する。GCN、GraphSAGE、GATなどの既存のGNNバックボーンと対照的学習の目的関数を統合することで、推論的およびインダクティブなグラフ学習ベンチマークにおいて、最先端の性能を達成する。

ABSTRACT

Graph neural networks (GNN), as a popular methodology for node representation learning on graphs, currently mainly focus on preserving the smoothness and identifiability of node representations. A robust node representation on graphs should further hold the stability property which means a node representation is resistant to slight perturbations on the input. In this paper, we introduce the stability of node representations in addition to the smoothness and identifiability, and develop a novel method called contrastive graph neural networks (CGNN) that learns robust node representations in an unsupervised manner. Specifically, CGNN maintains the stability and identifiability by a contrastive learning objective, while preserving the smoothness with existing GNN models. Furthermore, the proposed method is a generic framework that can be equipped with many other backbone models (e.g. GCN, GraphSage and GAT). Extensive experiments on four benchmarks under both transductive and inductive learning setups demonstrate the effectiveness of our method in comparison with recent supervised and unsupervised models.

研究の動機と目的

• 既存のグラフニューラルネットワークに、入力の摂動に対して感受性が高いという欠陥を解消すること。
• 小さな入力変更に対して耐性を示すという安定性の性質を、ノード表現学習に形式的かつ統合すること。
• ラベル付きデータを必要とせず、汎用的な未学習フレームワークを構築し、ロバスト性を向上させること。
• 摂動に対して耐性を持つよう改善しつつも、ノード表現の滑らかさと識別可能性を維持すること。
• トランスductiveおよびインダクティブな設定を含む多様なグラフ学習シナリオにおいて、提案手法の有効性を実証すること。

提案手法

• 同じノードの拡張ビュー（例：ノードの変換）を正例ペアとして、類似した表現を持つように促す対照的学習の目的関数を導入する。一方で、負例ペアは離れるように促す。
• メッセージパッシングと特徴量集約のためのバックボーンとして、既存のGNNアーキテクチャ（例：GCN、GraphSAGE、GAT）を用いて滑らかさを維持する。
• 対照的学習の目的関数により、異なるノードが区別可能な表現を持つように識別可能性を保証する。
• ノード特徴量のマスキングやエッジの摂動などのデータオーグメンテーションを適用し、対照的学習の正例を生成する。
• トレーニングの安定化のため、モーメンタムエンコーダーまたは対称的対照的学習を用いて対照的損失を最適化する。
• GNNバックボーンの上に対照的目的関数を正則化項として統合することで、さまざまな既存のGNNモデルとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 入力摂動に対してノード表現のロバスト性を向上させるために、安定性の目的関数を導入することは有効か？
• RQ2 提案された対照的学習フレームワークは、既存の未学習および教師ありGNN手法と比較して、表現品質に優れているか？
• RQ3 提案手法は、GCN、GraphSAGE、GATなどの異なるGNNバックボーンに対して、どの程度一般化可能か？
• RQ4 安定性、滑らかさ、識別可能性の組み合わせが、トランスductiveおよびインダクティブなグラフ学習設定の両方で、より良い性能をもたらすか？
• RQ5 ラベル付きデータを一切必要とせず、最先端の性能を達成できるか？

主な発見

• 提案されたCGNNフレームワークは、トランスductiveおよびインダクティブな学習設定の両方で、4つのベンチマークデータセットにおいて最先端の性能を達成した。
• CGNNは入力摂動に対して優れたロバスト性を示し、エッジや特徴量がわずかに変更されても、高い表現品質を維持した。
• GCN、GraphSAGE、GATを含む複数のGNNバックボーンにおいて、一貫して性能向上を示した。これにより、汎用的な適用可能性が確認された。
• 対照的学習の目的関数は、ノード表現の滑らかさを損なわせることなく、安定性と識別可能性を効果的に向上させた。
• 未学習の性質のおかげで、いくつかのベンチマークでは教師ありモデルと同等またはそれ以上の性能を達成した。
• 広範なアブレーションスタディにより、特に対照的目的関数が最終的な性能向上に顕著な寄与をしていることが確認された。