[論文レビュー] Effective Semi-Supervised Node Classification on Few-Labeled Graph Data

Ziang Zhou, J. Y. Shi+3 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 48被引用数 4

ひとこと要約

本論文では、適応的疑似ラベル付け、歪んだデータ向けのラベルバランス調整、およびネガティブサンプリング正則化を用いることで、ラベル付きノードが極めて少ないグラフにおいて半教師ありノード分類の性能を顕著に向上させるABNというフレームワークを提案する。Coraにおいて1クラスあたり1つのラベル付きノードしか利用しない状況でも、ABNはGCNの精度を44.6%から62.5%まで向上させ、DAGNNでは59.8%から66.4%まで向上させ、4つのベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Graph neural networks (GNNs) are designed for semi-supervised node classification on graphs where only a small subset of nodes have class labels. However, under extreme cases when very few labels are available (e.g., 1 labeled node per class), GNNs suffer from severe result quality degradation. Several existing studies make an initial effort to ease this situation, but are still far from satisfactory. In this paper, on few-labeled graph data, we propose an effective framework ABN that is readily applicable to both shallow and deep GNN architectures and significantly boosts classification accuracy. In particular, on a benchmark dataset Cora with only 1 labeled node per class, while the classic graph convolutional network (GCN) only has 44.6% accuracy, an immediate instantiation of ABN over GCN achieves 62.5% accuracy; when applied to a deep architecture DAGNN, ABN improves accuracy from 59.8% to 66.4%, which is state of the art. ABN obtains superior performance through three main algorithmic designs. First, it selects high-quality unlabeled nodes via an adaptive pseudo labeling technique, so as to adaptively enhance the training process of GNNs. Second, ABN balances the labels of the selected nodes on real-world skewed graph data by pseudo label balancing. Finally, a negative sampling regularizer is designed for ABN to further utilize the unlabeled nodes. The effectiveness of the three techniques in ABN is well-validated by both theoretical and empirical analysis. Extensive experiments, comparing 12 existing approaches on 4 benchmark datasets, demonstrate that ABN achieves state-of-the-art performance.

研究の動機と目的

• ラベル付きノードが僅かにしか存在しない場合、特に極端な少サンプル設定（例：1クラスあたり1つのラベル付きノード）において、グラフニューラルネットワーク（GNN）の性能が著しく低下する問題に対処すること。
• 浅いアーキテクチャから深いアーキテクチャまで広く適用可能な汎用的なフレームワークを構築し、低ラベル環境下でのノード分類精度を向上させること。
• ラベルの希少性が極めて深刻な状況においても性能を維持できない既存手法の限界を克服すること。
• 知的な疑似ラベル付けと正則化技術を用いて、未ラベル付きノードを効果的に活用することで、モデルの一般化性能を向上させること。
• 実世界のグラフに見られるクラス分布の歪みに対して耐性を持つよう、疑似ラベルのバランス調整を組み込むこと。

提案手法

• 予測の信頼度とグラフ構造に基づいて、高品質な未ラベル付きノードを動的に選択する適応的疑似ラベル付け技術を導入し、GNNの学習を改善する。
• 実世界のグラフにおけるクラスの不均衡の影響を軽減するため、トレーニング中に疑似ラベル付きノードの再重み付けまたはリサンプリングを適用する疑似ラベルバランス調整を実装する。
• 陽に正の疑似ラベル付きノードと未ラベル付き集合からのネガティブサンプルを対比させることで、モデルの識別性能を高めるネガティブサンプリング正則化を設計する。
• 適応的選択、ラベルバランス、ネガティブサンプリングの3つの要素を統合したフレームワークを構築し、アーキテクチャの変更なしにGNNの性能を向上させる。
• 信頼度に基づくしきい値設定を用いて、信頼度が低い疑似ラベルをフィルタリングし、トレーニングに使用されるのは高信頼度の予測に限定する。
• GCNおよびDAGNNのような深層アーキテクチャを含む、さまざまなGNNタイプに広く適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 1つのラベル付きノードしか存在しない1クラスあたりの状況において、統合型フレームワークがGNNの性能を顕著に向上させられるか？
• RQ2 極めてラベルが少ない状況下で、適応的疑似ラベル付けが情報量の多い未ラベル付きノードを効果的に選択し、GNNの学習を促進できるか？
• RQ3 実世界のグラフにおいてクラス分布が歪んでいる状況下で、疑似ラベルバランス調整が性能向上にどの程度寄与するか？
• RQ4 ネガティブサンプリング正則化が、ラベルが少ないグラフデータにおけるモデル一般化性能の向上に果たす貢献度はどの程度か？
• RQ5 提案されたABNフレームワークは、低ラベル設定下で多様なベンチマークデータセットにおいて最先端の性能を達成できるか？

主な発見

• Coraデータセットにおいて1クラスあたり1つのラベル付きノードしか利用しない状況でも、ABNはGCNの精度を44.6%から62.5%まで向上させ、標準的なGNNと比べて顕著な性能向上を示した。
• 深層アーキテクチャであるDAGNNに適用した場合、ABNは精度を59.8%から66.4%まで向上させ、同じ少サンプル設定下でCoraにおいて新たな最先端の結果を樹立した。
• 4つのベンチマークデータセットにわたり実施した広範な実験から、ABNは低ラベル環境下における半教師ありノード分類において、12の既存手法を常に上回ることが確認された。
• アブレーションスタディの結果、ABNの各構成要素（適応的疑似ラベル付け、ラベルバランス、ネガティブサンプリング）が全体の性能向上に顕著な寄与をしていることが裏付けられた。
• フレームワークは浅いアーキテクチャから深いアーキテクチャまで、両方のGNNアーキテクチャで強い性能を維持しており、汎用性と耐性の高さを実証した。
• 理論的および実験的分析により、ABNの3つのコアコンponentsが、ラベルが少ないグラフにおけるトレーニングダイナミクスの安定化と向上に効果的に寄与していることが検証された。