[論文レビュー] A Survey of Imbalanced Learning on Graphs: Problems, Techniques, and Future Directions

Zemin Liu, Yuan Li+4 more|arXiv (Cornell University)|Aug 26, 2023

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本調査では、グラフ上の不均衡学習（ILoGs）について包括的なレビューを提供し、2つの統一的分類体系——問題分類（ノード、エッジ、グラフレベルにおけるクラスおよび構造的不均衡）と技術分類（データ、モデル、損失ベースの手法）——を導入する。主な課題を特定し、既存の解決策をレビューし、ベンチマーク、合成データ生成、グラフ学習における基盤モデルに関する未解決の研究方向性を提示する。

ABSTRACT

Graphs represent interconnected structures prevalent in a myriad of real-world scenarios. Effective graph analytics, such as graph learning methods, enables users to gain profound insights from graph data, underpinning various tasks including node classification and link prediction. However, these methods often suffer from data imbalance, a common issue in graph data where certain segments possess abundant data while others are scarce, thereby leading to biased learning outcomes. This necessitates the emerging field of imbalanced learning on graphs, which aims to correct these data distribution skews for more accurate and representative learning outcomes. In this survey, we embark on a comprehensive review of the literature on imbalanced learning on graphs. We begin by providing a definitive understanding of the concept and related terminologies, establishing a strong foundational understanding for readers. Following this, we propose two comprehensive taxonomies: (1) the problem taxonomy, which describes the forms of imbalance we consider, the associated tasks, and potential solutions; (2) the technique taxonomy, which details key strategies for addressing these imbalances, and aids readers in their method selection process. Finally, we suggest prospective future directions for both problems and techniques within the sphere of imbalanced learning on graphs, fostering further innovation in this critical area.

研究の動機と目的

• グラフベースの機械学習におけるデータ不均衡の増大する課題に対処する。特に、高リソース群と低リソース群の間で性能が歪む現象に焦点を当てる。
• 不均衡学習のグラフ応用（ILoGs）に関する散在した文献を統合し、問題と技術の体系的分類体系を提示することで、体系的な理解を提供する。
• エッジレベルやグラフレベルの不均衡、ノード次数を超えた構造的不均衡といった、未だ十分に検討されていない研究分野を特定する。
• 不均衡の種別と解決戦略に応じて手法を分類することで、研究者が適切な技術を選定できるように支援する。
• 今後の研究方向性として、統一されたベンチマーク、拡散モデルを用いた合成データ生成、テキスト情報統合型グラフ学習における基盤モデルの統合を提案する。

提案手法

• ノード、エッジ、グラフレベルにおけるクラス不均衡と、次数、一般化されたノード次数、グラフサイズの変動といった構造的不均衡（例：次数）を含む、グラフ上での不均衡学習を分類する問題分類を提案する。
• データレベル（例：オーバーサンプリング、アンダーサンプリング）、モデルレベル（例：アテンションメカニズム、グラフ拡張）、損失レベル（例：フォーカル損失、クラス感知重み付け）の戦略に分類する技術分類を導入する。
• これらのカテゴリに属する既存の手法をレビューし、ノード分類、リンク予測、グラフ分類のタスクにおいて、不均衡データ下でのバイアス低減効果を分析する。
• グラフにおける非i.i.d.性と構造的依存関係のため、視覚やNLP分野から直接技術を移植することが困難であることを分析する。
• 特に分子や知識グラフ応用における少サンプルリンク予測やゼロショットグラフ分類において、タスク特化型の解決策の必要性を強調する。
• 拡散モデルを用いた合成データ生成や、テキスト補強型グラフ学習における基盤モデル（例：GPT）の統合といった、新規技術の活用可能性を議論する。

Figure 1 : This timeline showcases the representative research literature on ILoGs in relation to our taxonomies, i.e. , Problems and Techniques. The total number of research works for each year is also displayed, illustrating an upward trend.

実験結果

リサーチクエスチョン

• RQ1 グラフ構造データにおけるデータ不均衡の特徴的な形態は何か。また、表形式、視覚、NLP環境における不均衡とはどのように異なるか。
• RQ2 グラフに特有の構造的依存関係を考慮すると、不均衡学習の既存技術をどのように体系的に分類・適応可能か。
• RQ3 特にエッジレベルおよびグラフレベルでの不均衡学習において、未だ十分に検討されていない主な研究課題は何か。
• RQ4 拡散モデルや基盤モデルといった新規技術を活用することで、低リソースグラフグループの性能向上をどのように達成できるか。
• RQ5 統一されたベンチマークやランク付けシステムは、不均衡グラフ学習研究における再現可能性と進展を促進するために果たす役割は何か。

主な発見

• グラフ学習におけるクラス不均衡はノードレベルで最も研究されているが、エッジレベルやグラフレベルのタスク、特に少サンプルリンク予測や不均衡グラフ分類は未だ十分に検討されていない。
• ノード次数や一般化された構造的文脈の変動といった構造的不均衡は、モデル性能に顕著な影響を与え、現行の手法ではしばしば無視されている。
• 現在の手法は主にノードレベルのタスクに限定されており、グラフサイズの変動や構造的非均一性が不均衡要因としての役割を果たすことはほとんど検討されていない。
• 分野横断的技術の活用（例：データレベルの手法をモデルレベルの問題に適用）は有望であるが、既存の文献では未だ未活用の分野である。
• 拡散モデルを用いた合成データ生成は、特に分子や知識グラフ応用において、GANに代わる代替手段として有効である。
• 統一されたベンチマークやランク付けの欠如は、研究の進展を阻害しており、公平な比較と再現性を可能にするための標準化された評価フレームワークの構築が急務である。

Figure 2 : Imbalanced learning on graphs: imbalanced graph resource distribution results in imbalanced outcomes.