[論文レビュー] GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification

Wen-Zhi Li, Chang‐Dong Wang+2 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

GraphSHAは、グラフ構造データにおけるクラス不均衡問題の『圧縮された少数クラス』問題を軽減するために、少数クラスのより難しいサンプルを合成する画期的なデータ拡張フレームワークを提案する。半教師付きミックスアップ戦略（SemiMixup）を活用して、アンカーノードと隣接クラスの補助ノードから難しいサンプルを生成することで、隣接クラスの性能を損なうことなく少数クラスの意思決定境界を拡大し、複数のGNNバックボーンを用いた7つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Class imbalance is the phenomenon that some classes have much fewer instances than others, which is ubiquitous in real-world graph-structured scenarios. Recent studies find that off-the-shelf Graph Neural Networks (GNNs) would under-represent minor class samples. We investigate this phenomenon and discover that the subspaces of minor classes being squeezed by those of the major ones in the latent space is the main cause of this failure. We are naturally inspired to enlarge the decision boundaries of minor classes and propose a general framework GraphSHA by Synthesizing HArder minor samples. Furthermore, to avoid the enlarged minor boundary violating the subspaces of neighbor classes, we also propose a module called SemiMixup to transmit enlarged boundary information to the interior of the minor classes while blocking information propagation from minor classes to neighbor classes. Empirically, GraphSHA shows its effectiveness in enlarging the decision boundaries of minor classes, as it outperforms various baseline methods in class-imbalanced node classification with different GNN backbone encoders over seven public benchmark datasets. Code is avilable at https://github.com/wenzhilics/GraphSHA.

研究の動機と目的

• グラフニューラルネットワークの潜在空間において少数クラスの部分空間が圧縮される『圧縮された少数クラス』問題に対処すること。
• 意思決定境界を拡大するより難しいトレーニングサンプルを合成することで、少数クラスにおけるGNNの性能を向上させること。
• 合成過程で少数クラスから隣接クラスの部分空間への情報伝播を遮断することで、隣接クラスへの干渉を防ぐこと。
• 損失関数の変更なしに少数クラスの表現を強化できる汎用的かつGNNに依存しないフレームワークを開発すること。

提案手法

• GraphSHAは、意思決定境界付近に位置するより難しい少数クラスのサンプルをアンカーノードとして特定し、合成の対象とする。
• 合成されたサンプルは凸結合により生成される半教師付きミックスアップモジュール（SemiMixup）を導入する：$\mathbf{X}_{\text{syn}} = \delta \mathbf{X}_{\text{anc}} + (1 - \delta) \mathbf{X}_{\text{aux}}$、ここで$\mathbf{X}_{\text{anc}}$は難しい少数クラスのサンプル、$\mathbf{X}_{\text{aux}}$は隣接クラスのノードである。
• 混合係数$\delta$は、より小さい値に偏った分布からサンプリングされ、より難しいサンプルを優遇する。
• 合成された特徴量が少数クラスの部分空間に留まりつつ、隣接クラス領域への過剰な侵入を防ぐように保証する。
• アンカーノードの隣接クラスから補助ノードを、トポロジーに配慮した戦略で選択する。
• 任意のGNNバックボーンと互換性があり、元のグラフ構造を変更せずに潜在空間で動作する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるGNNの少数クラスの意思決定境界を、より難しい少数クラスのサンプルを合成することで効果的に拡大できるか？
• RQ2 合成されたより難しいサンプルが、隣接クラスの部分空間に侵入したり、劣化させたりするのを防ぐにはどうすればよいか？
• RQ3 SemiMixupモジュールにおける混合係数$\delta$の最適な分布は何か？ これは、難易度と一般化性能のバランスを取るために必要である。
• RQ4 GraphSHAは、手動および自然に不均衡なグラフベンチマークにおいて、既存のデータ拡張および損失関数変更ベースラインを上回る性能を示すか？
• RQ5 誤分類の分布を指標として用いた場合、GraphSHAは『圧縮された少数クラス』問題をどの程度軽減できるか？

主な発見

• GraphSHAは少数クラスの誤分類率を顕著に低減し、誤分類されたサンプルが少数クラスに属する確率が0.5に近づくことを確認した。これは境界拡大が効果的であることを示している。
• GCNを用いたCorra-LTおよびCiteSeer-LTにおいて、GraphSHAはすべてのベースラインの中で最高のF1スコアを達成し、TAM や ReNode といった高度な手法でさえも上回った。
• SemiMixupモジュールのおかげで、積極的な境界拡大にもかかわらず、主要クラスの性能が安定しており、隣接クラスの劣化が防がれていることが裏付けられた。
• ハイパーパramータの分析から、$\mathbb{E}(\delta)$が小さいほど性能が向上することが判明し、より難しいサンプルが境界拡大に有効であることが確認された。
• t-SNEを用いた可視化により、GraphSHAが少数クラスの部分空間を効果的に拡大し、テストセットの少数クラスノードの多くをその潜在空間内に含めることができた。
• GCN、GAT、GraphSAGEの3つのGNNバックボーンおよび7つの公開データセットにわたる汎用性が確認され、強力な耐障害性と拡張性を示した。