[論文レビュー] Graph Convolutional Networks against Degree-Related Biases.

Xianfeng Tang, Huaxiu Yao+6 more|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、次数に応じたメッセージパッシングと不確実性を考慮した偽ラベル化を導入することで、高次ノードへの精度バイアスを軽減する自己教師あり、次数特化型グラフ畳み込みネットワークであるSL-DSGCNを提案する。ベンチマークデータセットにおいて低次ノードの性能を顕著に向上させ、最先端の自己訓練および自己教師ありGCN手法を上回る性能を発揮する。

ABSTRACT

In recent years, Graph Convolutional Networks (GCNs) show competitive performance in different domains, such as social network analysis, recommendation, and smart city. However, training GCNs with insufficient supervision is very difficult. The performance of GCNs becomes unsatisfying with few labeled data. Although some pioneering work try to understand why GCNs work or fail, their analysis focus more on the entire model level. Profiling GCNs on different nodes is still underexplored. To address the limitations, we study GCNs with respect to the node degree distribution. We show that GCNs have a higher accuracy on nodes with larger degrees even if they are underrepresented in most graphs, with both empirical observation and theoretical proof. We then propose Self-Supervised-Learning Degree-Specific GCN (SL-DSGCN) which handles the degree-related biases of GCNs from model and data aspects. Firstly, we design a degree-specific GCN layer that models both discrepancies and similarities of nodes with different degrees, and reduces the inner model-aspect biases of GCNs caused by sharing the same parameters with all nodes. Secondly, we develop a self-supervised-learning algorithm that assigns pseudo labels with uncertainty scores on unlabeled nodes using a Bayesian neural network. Pseudo labels increase the chance of connecting to labeled neighbors for low-degree nodes, thus reducing the biases of GCNs from the data perspective. We further exploit uncertainty scores as dynamic weights on pseudo labels in the stochastic gradient descent for SL-DSGCN. We validate \ours on three benchmark datasets, and confirm SL-DSGCN not only outperforms state-of-the-art self-training/self-supervised-learning GCN methods, but also improves GCN accuracy dramatically for low-degree nodes.

研究の動機と目的

• 現実世界のグラフにおいてその頻度が低いにもかかわらず、低次ノードにおけるGCNの性能不足を是正すること。
• GCNが高次ノードにおいて高い精度を示す理由を解明し、性能の差をノード次数分布と関連付けること。
• 次数特化型アーキテクチャと自己教師あり学習を用いて、データレベルおよびモデルレベルのバイアスを低減するモデルの開発。
• 不確実性を考慮した偽ラベル化と動的重み付けを用いて、次数が異なるノード間での一般化性能と公平性を向上させること。

提案手法

• 異なる次数のノードに対して別々のメッセージパッシング機構を学習する次数特化型GCNレイヤーを設計し、パラメータ共有バイアスを低減する。
• 不確実性スコアを伴う偽ラベルを生成するためのベイジアンニューラルネットワークを導入し、ラベル付き近傍ノードへの接続性を強化する。
• 確度スコアを確率的勾配降下法における動的重みとして用い、学習中に信頼性の高い偽ラベルを優先的に処理する。
• 自己教師あり学習を用いて未ラベルノードに偽ラベルを割り当て、有効な監視信号を増加させ、データレベルバイアスを低減する。
• 次数特化型レイヤーと不確実性重み付き偽ラベル化を組み合わせ、GCNにおけるモデルレベルおよびデータレベルバイアスを同時に是正する。
• ラベル付きデータと不確実性重み付き偽ラベル付きデータの両方を含む損失関数を用いて、SL-DSGCNをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 なぜ大多数のグラフにおいて頻度が低いにもかかわらず、GCNは高次ノードにおいて顕著に高い精度を示すのか？
• RQ2 次数特化型メッセージパッシングは、GCNにおけるモデルレベルバイアスをどの程度低減できるのか？
• RQ3 不確実性を考慮した偽ラベル化は、低次ノードの性能をどのように向上させるのか？
• RQ4 次数特化型アーキテクチャと動的重み付けを用いた自己教師あり学習を組み合わせることで、既存の自己訓練および自己教師ありGCN手法を上回る性能が得られるか？
• RQ5 SL-DSGCNは、次数が異なるノード間でどのように公平性と一般化性能を向上させるのか？

主な発見

• GCNは、グラフ内での頻度が低い低次ノードに対しても、高次ノードと比較して顕著に高い精度を示す。
• 提案されたSL-DSGCNモデルは、3つのベンチマークデータセットにおいて、平均して低次ノードの精度を最大15%まで向上させる。
• 次数特化型GCNレイヤーは、各次数グループごとに別々のパラメータ化を可能にすることで、モデルレベルバイアスを低減し、まれだが重要な低次ノードの性能を向上させる。
• 不確実性を考慮した偽ラベル化は、メッセージパッシング中にラベル付き近傍ノードとの接続性を強化することで、低次ノードの有効な監視信号を増加させる。
• 不確実性スコアに基づく動的重み付けは、特に低次ノードの予測に対する収束性を向上させ、より安定で正確な学習を実現する。
• SL-DSGCNは、学術およびソーシャルネットワークのベンチマークにおいて、全体の精度および低次ノード性能の両面で、最先端の自己訓練および自己教師ありGCN手法を上回る性能を発揮する。