[論文レビュー] Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition

Divin Yan, Gengchen Wei+3 more|arXiv (Cornell University)|Oct 28, 2023

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本稿は、バイアス・バリアンス分解を通じてデータの不均衡をモデルの分散に理論的に結びつけることで、半教師あり不均衡ノード分類のための新規フレームワークを提案する。グラフオーグメンテーションを用いて分散を推定し、分散制約付き正則化項を導入することで、自然に不均衡なデータセットおよびパブリックスプリットによる不均衡データセットの両方で、最先端の手法を著しく上回る性能を達成する。

ABSTRACT

This paper introduces a new approach to address the issue of class imbalance in graph neural networks (GNNs) for learning on graph-structured data. Our approach integrates imbalanced node classification and Bias-Variance Decomposition, establishing a theoretical framework that closely relates data imbalance to model variance. We also leverage graph augmentation technique to estimate the variance, and design a regularization term to alleviate the impact of imbalance. Exhaustive tests are conducted on multiple benchmarks, including naturally imbalanced datasets and public-split class-imbalanced datasets, demonstrating that our approach outperforms state-of-the-art methods in various imbalanced scenarios. This work provides a novel theoretical perspective for addressing the problem of imbalanced node classification in GNNs.

研究の動機と目的

• グラフニューラルネットワークにおけるクラス不均衡の課題に取り組むこと、特に半教師ありノード分類において。
• バイアス・バリアンス分解を用いて、データの不均衡とモデルの分散の理論的つながりを確立すること。
• グラフデータオーグメンテーションを用いた分散推定法を開発し、不均衡な状況下での一般化性能を向上させること。
• モデルの分散を明示的に制約する正則化項を設計し、マイノリティクラスにおける過学習を軽減すること。
• 現実的で自然に不均衡なデータセットおよびパブリックベンチマーク上での評価を行い、さまざまな不均衡比においても頑健な性能を示すこと。

提案手法

• バイアス・バリアンス分解を通じて、データの不均衡が分散を増加させ、性能を低下させることを理論的に示し、不均衡と分散の関連を理論的枠組みで結ぶ。
• グラフデータオーグメンテーションを用いて、学習グラフの複数のビューを生成し、分散推定のための異なる学習分布を模倣する。
• 増幅されたビュー間の予測不一致を最小化する分散制約付き最適化損失（$\mathcal{L}_{\text{VR}}$）を設計し、モデルの分散を低減する。
• クラス中心の類似度と信頼度フィルタリングに基づく適応的正則化項を導入し、マイノリティクラスにおける訓練の安定性を向上させる。
• 分散正則化を教師ありクロスエントロピー損失およびクラス内正則化と組み合わせ、統一された学習目的関数を構築する。
• 予測信頼度が低い未ラベルノードをフィルタリングする信頼度しきい値手法を採用し、分散推定におけるロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造データにおけるデータの不均衡は、GNNにおけるモデル分散にどのように影響するか？
• RQ2 バイアス・バリアンス分解は、ノード分類における不均衡の理解と緩和の理論的基盤を提供できるか？
• RQ3 グラフデータオーグメンテーションは、分散推定のための異なる訓練集合の分布を効果的に近似できるか？
• RQ4 分散制約付き正則化項は、不均衡なGNN学習における一般化性能を向上させることができるか？
• RQ5 提案手法は、多様な不均衡比および実世界のデータセットにおいて、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• 提案手法は、自然に不均衡なデータセットおよびパブリックスプリットによるクラス不均衡データセットを含む複数のベンチマークで最先端の性能を達成した。
• 実験により、モデルの分散とデータセットの不均衡比の間には強い実証的相関があることが確認され、理論的分析の妥当性が裏付けられた。
• 特に重度の不均衡状況下でも、既存手法を著しく上回り、優れたロバストネスと一般化性能を示した。
• グラフオーグメンテーションは分布シフトを効果的にモデル化でき、信頼性の高い分散推定を可能とし、フレームワークの中心的役割を果たした。
• 分散制約付き正則化項により、クラス固有の再重み付けやオーバーサンプリングを必要とせずに、マイノリティクラスにおける予測がより安定的かつ正確になった。
• 3種類の異なるGNNアーキテクチャにおいても、強い性能を維持したため、広範な適用可能性とスケーラビリティが示された。