[論文レビュー] ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks

Liang Qu, Huaisheng Zhu+3 more|arXiv (Cornell University)|Jun 5, 2021

Imbalanced Data Classification Techniques参考文献 41被引用数 9

ひとこと要約

本稿では、不均衡なノード分類問題に取り組むために、合成少数クラスノードを生成することでネットワークのクラス分布をバランスさせる生成的対抗的グラフネットワーク、ImGAGNを提案する。属性とトポロジー特徴を統合的にモデル化するGraphGeneratorと、本物と偽物、少数クラスと多数クラスノードを区別するGCNベースのディスクラミネーターを共同で学習することで、4つの現実世界の不均衡データセットにおいて最先端の性能を達成し、再現率とAUCが顕著に向上した。

ABSTRACT

Imbalanced classification on graphs is ubiquitous yet challenging in many real-world applications, such as fraudulent node detection. Recently, graph neural networks (GNNs) have shown promising performance on many network analysis tasks. However, most existing GNNs have almost exclusively focused on the balanced networks, and would get unappealing performance on the imbalanced networks. To bridge this gap, in this paper, we present a generative adversarial graph network model, called ImGAGN to address the imbalanced classification problem on graphs. It introduces a novel generator for graph structure data, named GraphGenerator, which can simulate both the minority class nodes' attribute distribution and network topological structure distribution by generating a set of synthetic minority nodes such that the number of nodes in different classes can be balanced. Then a graph convolutional network (GCN) discriminator is trained to discriminate between real nodes and fake (i.e., generated) nodes, and also between minority nodes and majority nodes on the synthetic balanced network. To validate the effectiveness of the proposed method, extensive experiments are conducted on four real-world imbalanced network datasets. Experimental results demonstrate that the proposed method ImGAGN outperforms state-of-the-art algorithms for semi-supervised imbalanced node classification task.

研究の動機と目的

• 現実世界のグラフにおいて、少数クラスが希少であり、多数クラスと区別が難しいという不均衡なノード分類の課題に対処すること。
• クラス分布がバランスしていると仮定する従来のグラフニューラルネットワークが、不均衡データに対して性能を発揮できないという限界を克服すること。
• ノード特徴とラベルの両方を活用して、少数クラスノードと多数クラスノードを分離可能な表現を学ぶ半教師あり手法を開発すること。
• 実際の少数クラスノードの属性とトポロジー構造を保持したまま、少数クラスノードの合成ノードを生成し、クラス分布をバランスさせること。
• 本物のノードと生成されたノード（偽物）、少数クラスと多数クラスノードを区別できるディスクラミネーターを訓練することで、不均衡データに対する汎化性能を向上させること。

提案手法

• 実際の少数クラスノードの特徴埋め込みを平均化し、それらと接続することでトポロジー構造を保持するように、新しいGraphGeneratorを導入して合成少数クラスノードを生成する。
• 生成器は、実際の少数クラスノードの属性分布とトポロジーパターンを再現するように学習し、クラス分布のバランスを図る。
• 本物のノードと生成された（偽物の）ノード、および合成されたバランス済みネットワーク上の少数クラスと多数クラスノードを区別できるGCNベースのディスクラミネーターを訓練する。
• 生成器とディスクラミネーターを、本物/偽物および少数/多数クラスノードの区別を明示的に促進する損失関数を用いて、GANフレームワークで敵対的に訓練する。
• 訓練プロセスは、生成器がディスクラミネーターをだますように更新する段階と、ディスクラミネーターが本物と偽物のノード、少数/多数クラスノードをより正確に分類できるように更新する段階を交互に繰り返す。
• 性能最適化のため、訓練用少数クラスノードの割合（λ₁）や、生成器の更新ごとのディスクラミネーター更新ステップ数（λ₂）といったハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 ImGAGNは、半教師あり不均衡ノード分類タスクにおいて、最先端の手法と比較してどのように性能を発揮するか？
• RQ2 λ₁（少数クラスノード割合）やλ₂（ディスクラミネーターの訓練頻度）といった主要なハイパーパrameterがImGAGNの性能にどのように影響するか？
• RQ3 提案手法は、学習された埋め込み空間で少数クラスノードと多数クラスノードを効果的に分離できるか？
• RQ4 生成器とディスクラミネーターを備えた敵対的訓練フレームワークは、不均衡グラフにおけるノード分類性能を向上させるか？
• RQ5 GraphGeneratorが属性とトポロジー両方の特徴を模倣する能力が、モデルの頑健性と一般化性能にどの程度寄与するか？

主な発見

• ImGAGNは、4つの現実世界の不均衡データセットにおいて、再現率、適合率、AUCの観点で最先端の手法を上回り、特に少数クラスの再現率が顕著に向上した。
• 訓練用少数クラスノード割合λ₁が0.7以上で、生成器の更新ごとのディスクラミネーター訓練ステップ数λ₂が50以上の場合、高い性能が達成された。
• 可視化結果から、ImGAGNは埋め込み空間において少数クラスノードと多数クラスノードを明確に分離しており、本物ノードと生成ノード（偽物）の区別も成功していることが示された。
• λ₁ = 0の場合、ImGAGNの性能は標準的なGCNと同等であり、GraphGeneratorが不均衡データにおけるGCNの性能を効果的に向上させていることを示している。
• ラベル情報を利用した半教師あり手法（ImGAGN、GCN-SMOTE、SPARC）は、ラベル情報を使用しない無教師手法（DeepWalk、Node2vec）よりも少数クラスと多数クラスノードをより明確に分離できた。