[論文レビュー] Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification

Yu Wang, Charu C. Aggarwal+1 more|arXiv (Cornell University)|Oct 22, 2021

Imbalanced Data Classification Techniques参考文献 37被引用数 9

ひとこと要約

本論文は、クラスプロトタイプ駆動型学習と距離メトリック学習を用いて、クラス間の損失をバランスさせ、ノード表現とクラスプロトタイプ間の区別を高める、不均衡なノード分類を目的とした新規なGNNフレームワークであるDistance-wise Prototypical Graph Neural Network (DPGNN)を提案する。DPGNNは8つの実世界データセットにおいてベースラインを著しく上回り、グラフ構造データにおけるクラス不均衡の処理において最先端の性能を示している。

ABSTRACT

Recent years have witnessed the significant success of applying graph neural networks (GNNs) in learning effective node representations for classification. However, current GNNs are mostly built under the balanced data-splitting, which is inconsistent with many real-world networks where the number of training nodes can be extremely imbalanced among the classes. Thus, directly utilizing current GNNs on imbalanced data would generate coarse representations of nodes in minority classes and ultimately compromise the classification performance. This therefore portends the importance of developing effective GNNs for handling imbalanced graph data. In this work, we propose a novel Distance-wise Prototypical Graph Neural Network (DPGNN), which proposes a class prototype-driven training to balance the training loss between majority and minority classes and then leverages distance metric learning to differentiate the contributions of different dimensions of representations and fully encode the relative position of each node to each class prototype. Moreover, we design a new imbalanced label propagation mechanism to derive extra supervision from unlabeled nodes and employ self-supervised learning to smooth representations of adjacent nodes while separating inter-class prototypes. Comprehensive node classification experiments and parameter analysis on multiple networks are conducted and the proposed DPGNN almost always significantly outperforms all other baselines, which demonstrates its effectiveness in imbalanced node classification. The implementation of DPGNN is available at \url{https://github.com/YuWVandy/DPGNN}.

研究の動機と目的

• グラフニューラルネットワークにおけるクラス不均衡という重要な課題に取り組むこと、特に少数クラスが不十分に表現され、うまく学習されない問題を解決すること。
• 不均衡なラベル付きデータを用いた標準的なGNN学習によって生じる多数クラスへのバイアスを軽減すること。
• より代表的なクラスプロトタイプを構築することで、少数ノードの表現学習を改善すること。
• 距離メトリック学習を用いて、ノード埋め込みとクラスプロトタイプ間の区別を強化すること。
• 新たな不均衡ラベル伝搬メカニズムと自己教師型学習を活用して、未ラベルノードを活用し、一般化性能を向上させること。

提案手法

• 各クラスが訓練損失に与える寄与度をバランスさせるクラスプロトタイプ駆動型学習方式を導入し、多数クラスによる支配を軽減する。
• ノード表現とすべてのクラスプロトタイプ間の相対的距離を計算・最適化する距離メトリック学習を採用し、情報量の多い次元に注目する。
• 不均衡なラベル伝搬メカニズムを設計し、ラベル付きノードから未ラベルノードへ疑似ラベルを伝搬させ、クラスに特化した重み付けを施して不均衡に対処する。
• 隣接ノードの表現を滑らかにする一方で、クラス間プロトタイプの分離を維持するように、自己教師型学習を適用する。
• 2段階の学習プロセスを採用する：まずプロトタイプ駆動型学習で最適化を安定化させ、次に距離メトリック学習で表現の区別能を精緻化する。
• t-SNE可視化とシラッペットスコアを用いて、学習済み表現およびクラスタリングの質を分析・検証する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプ駆動型学習方式は、GNNにおける少数クラスと多数クラスの損失寄与度を効果的にバランスさせることができるか？
• RQ2 距離メトリック学習は、ノード表現とクラスプロトタイプとの相対的な区別能を向上させるか？
• RQ3 未ラベルノードからの不均衡ラベル伝搬は、少数クラスの学習を向上させる意味のある自己教師的な監督を提供できるか？
• RQ4 自己教師型学習は、不均衡なグラフにおけるノード表現のロバスト性および分離性をどの程度向上させるか？
• RQ5 多様な実世界の不均衡グラフデータセットにおいて、DPGNNは既存の最先端手法と比較してどの程度の性能を示すか？

主な発見

• DPGNNは8つの実世界データセットにおいて、すべてのベースラインと比較して顕著に高いF1-macroスコアを達成し、不均衡なノード分類において一貫した優位性を示している。
• 距離メトリック表現学習の導入により、ノードから自身のクラスプロトタイプまでの距離が常に最短となることが保証され、誤分類のリスクが低減される。
• t-SNE可視化では、DPGNNの距離メトリック表現はクラス間でより明確に分離されており、シラッセットスコア（0.117 vs. 0.099）もGCNよりも高いことが確認された。
• GCNの表現が誤ったプロトタイプの周辺に少数クラスがクラスタリングするというクラスタリングバイアスを、より代表的なプロトタイプを学習することで是正した。
• アブレーションスタディの結果、自己教師型学習と不均衡ラベル伝搬の両方が、特に少数クラスにおいて性能向上に不可欠であることが確認された。
• 極端なクラス不均衡下でも、CoraとCiteseerにおいても、さまざまなラベル伝搬しきい値に対して一貫した性能向上を維持した。