[論文レビュー] Graph Neural Network with Curriculum Learning for Imbalanced Node Classification

Xiaohe Li, Lijie Wen+5 more|arXiv (Cornell University)|Feb 5, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、順応的グラフオーバースマピング（特徴量の滑らかさと同質性に基づく）と近隣ベースのメトリクス学習を組み合わせることで、クラス不均衡を緩和するグラフニューラルネットワークフレームワークGNN-CLを提案する。本手法はトレーニング中にオーバースマピングとメトリクス学習の損失を動的にバランスさせ、複数のベンチマークデータセットで最先端の性能を達成しており、極度に不均衡な設定では最大20%の相対的改善が得られている。

ABSTRACT

Graph Neural Network (GNN) is an emerging technique for graph-based learning tasks such as node classification. In this work, we reveal the vulnerability of GNN to the imbalance of node labels. Traditional solutions for imbalanced classification (e.g. resampling) are ineffective in node classification without considering the graph structure. Worse still, they may even bring overfitting or underfitting results due to lack of sufficient prior knowledge. To solve these problems, we propose a novel graph neural network framework with curriculum learning (GNN-CL) consisting of two modules. For one thing, we hope to acquire certain reliable interpolation nodes and edges through the novel graph-based oversampling based on smoothness and homophily. For another, we combine graph classification loss and metric learning loss which adjust the distance between different nodes associated with minority class in feature space. Inspired by curriculum learning, we dynamically adjust the weights of different modules during training process to achieve better ability of generalization and discrimination. The proposed framework is evaluated via several widely used graph datasets, showing that our proposed model consistently outperforms the existing state-of-the-art methods.

研究の動機と目的

• GNNがクラス不均衡なノード分類に対して脆弱であるのを是正する。具体的には、接続性が不足しているため少数クラスノードの表現が不十分になる問題に焦点を当てる。
• 従来のリサンプリングやコストセンシティブ学習の限界を克服する。特に、グラフ設定では構造的PRIORを無視する傾向があり、過学習のリスクが伴う。
• グラフベースのオーバースマピングとメトリクス学習を統合することで、表現の質と一般化性能を向上させる統合フレームワークを構築する。
• カリキュラム学習を用いて、オーバースマピングとメトリクス学習の貢献度を動的にバランスさせ、モデルのロバスト性と識別性能を向上させる。
• 異なるクラス不均衡度を有する多様なグラフデータセットにおいて、提案手法の有効性を検証する。

提案手法

• 中間層の埋め込みに基づく特徴量の滑らかさと同質性を考慮し、合成ノードとエッジを生成する順応的グラフオーバースマピングを提案する。
• 特徴空間における少数クラスノードの分離を図るために、近隣ベースのトリプレット損失を導入し、判別的な特徴表現を学習する。
• グラフ分類損失とメトリクス学習損失を組み合わせることで、ノード分類とクラス間分離を同時に最適化する。
• トレーニング中にオーバースマピングモジュールとメトリクス学習モジュールの損失重みを動的に調整するカリキュラム学習を採用する。
• 二段階のトレーニング戦略を採用する：まずオーバースマピングにより信頼性の高い合成ノードを生成し、次にメトリクス学習により表現を精練する。
• GCNやGraphSAGEなどのさまざまなGNNバックボーンに本フレームワークを適用し、アーキテクチャを越えた一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡なノード分類において、どのようにグラフ構造を活用して少数クラスの信頼性の高い合成ノードを生成できるか？
• RQ2 メトリクス学習は、GNNにおける少数クラスと多数クラスノードの識別性をどの程度向上させられるか？
• RQ3 カリキュラム学習は、オーバースマピングとメトリクス学習の貢献度を効果的にバランスさせ、過学習を回避し一般化性能を向上させられるか？
• RQ4 提案手法は、さまざまなクラス不均衡度の設定において、既存のSOTA手法と比較してどのように性能を発揮するか？
• RQ5 本フレームワークは、異なるGNNアーキテクチャおよび実世界のグラフデータセットに一般化可能か？

主な発見

• Cora（不均衡比0.1）において、GNN-CLは最高のマイクロ-F1スコア0.759を達成し、2番目に良い手法であるGraphSMOTEを20%以上の相対的改善で上回った。
• BlogCategoryデータセットにおいて、不均衡比0.1の条件下でGNN-CLはマイクロ-F1 0.757を達成し、GCNやMLPと比較して顕著に優れた性能を示した。特に、GCNとMLPは精度とクラス頻度の間に強い相関を示した。
• アブレーションスタディの結果、オーバースマピングモジュールとメトリクス学習モジュールが性能向上に独立して寄与していることが確認された。GNN-CL O（オーバースマピングのみ）とGNN-CL M（メトリクス学習のみ）は競争力はあるが、完全なモデルに比べて劣る結果を示した。
• 不均衡比が0.9（ほぼバランス状態）のとき、GNN-CLとベースラインとの性能差は縮小する。これは、オーバースマピングが極度に不均衡な状況で最も効果を発揮することを示している。
• GCNやGraphSAGEといった異なるベースGNNに対して、GNN-CLは一貫して優位性を維持し、全テストデータセットで最良のベースライン比2–4%の性能向上を達成した。
• ハイパーパramータ分析の結果、適度なオーバースマピングスケールとバランスの取れた疑似ラベル閾値が最適な性能をもたらすことが判明。過剰な合成データやノイズの多いラベルによる過学習を回避できる。