[논문 리뷰] ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks

Liang Qu, Huaisheng Zhu외 3명|arXiv (Cornell University)|2021. 06. 05.

Imbalanced Data Classification Techniques참고 문헌 41인용 수 9

한 줄 요약

이 논문은 불균형한 노드 분류 문제를 해결하기 위해 합성 소수 클래스 노드를 생성함으로써 네트워크의 클래스 분포를 균형 잡는 생성적 적대적 그래프 신경망인 ImGAGN을 제안한다. 그래프 생성기(GraphGenerator)를 통해 속성 및 위상적 특징을 동시에 모델링하고, GCN 기반의 판별기(discriminator)를 통해 진짜 노드와 가짜 노드, 소수 클래스 노드와 다수 클래스 노드를 구분하도록 훈련함으로써, 네 가지 실세계 불균형 데이터셋에서 최신 기술 대비 뛰어난 성능을 달성하며 재현율(recall)과 AUC를 크게 향상시킨다.

ABSTRACT

Imbalanced classification on graphs is ubiquitous yet challenging in many real-world applications, such as fraudulent node detection. Recently, graph neural networks (GNNs) have shown promising performance on many network analysis tasks. However, most existing GNNs have almost exclusively focused on the balanced networks, and would get unappealing performance on the imbalanced networks. To bridge this gap, in this paper, we present a generative adversarial graph network model, called ImGAGN to address the imbalanced classification problem on graphs. It introduces a novel generator for graph structure data, named GraphGenerator, which can simulate both the minority class nodes' attribute distribution and network topological structure distribution by generating a set of synthetic minority nodes such that the number of nodes in different classes can be balanced. Then a graph convolutional network (GCN) discriminator is trained to discriminate between real nodes and fake (i.e., generated) nodes, and also between minority nodes and majority nodes on the synthetic balanced network. To validate the effectiveness of the proposed method, extensive experiments are conducted on four real-world imbalanced network datasets. Experimental results demonstrate that the proposed method ImGAGN outperforms state-of-the-art algorithms for semi-supervised imbalanced node classification task.

연구 동기 및 목표

• 실세계 그래프에서 소수 클래스가 희귀하고 다수 클래스와 구분하기 어려운 불균형한 노드 분류 문제를 해결하기 위해.
• 균형 잡힌 클래스 분포를 가정하는 기존 그래프 신경망의 한계를 극복하고, 불균형 데이터에서 성능이 열등한 문제를 해결하기 위해.
• 노드 특징과 레이블을 모두 활용하여 소수 및 다수 클래스 노드의 분리 가능한 표현을 학습하는 준지도 학습 방법을 개발하기 위해.
• 실제 소수 클래스 노드의 속성 및 위상적 구조를 유지하면서 소수 클래스 노드의 합성 노드를 생성하여 클래스 분포를 균형 잡기 위해.
• 진짜 노드와 생성된 노드, 소수 클래스 노드와 다수 클래스 노드를 구분할 수 있는 판별기를 훈련시켜 불균형 데이터에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 실제 소수 클래스 노드의 특징 임베딩 평균을 취하고, 이를 실존하는 소수 클래스 노드에 연결함으로써 위상적 구조를 유지하는 방식으로, 새로운 그래프 생성기(GraphGenerator)를 도입하여 합성 소수 클래스 노드를 생성한다.
• 생성기는 실존 소수 클래스 노드의 속성 분포와 위상 패턴을 모방하도록 학습하여 클래스 분포를 균형 잡는다.
• 진짜 노드와 생성된(가짜) 노드, 그리고 합성된 균형 잡힌 네트워크 상의 소수 클래스 노드와 다수 클래스 노드를 구분할 수 있도록 GCN 기반의 판별기를 훈련시킨다.
• 생성기와 판별기를 GAN 프레임워크를 활용해 적대적으로 훈련시키며, 진짜/가짜 및 소수/다수 노드를 명시적으로 구분하도록 하는 손실 함수를 사용한다.
• 훈련 과정은 생성기를 통해 판별기를 속이기 위한 업데이트와, 진짜 및 가짜 노드, 소수 및 다수 노드를 더 잘 분류할 수 있도록 판별기를 업데이트하는 방식으로 번갈아가며 수행된다.
• 성능 최적화를 위해 훈련 중 소수 클래스 노드 비율(λ₁) 및 생성기 업데이트마다의 판별기 훈련 스텝 수(λ₂)와 같은 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 ImGAGN은 준지도 학습 불균형 노드 분류 작업에서 최신 기술 대비 어떻게 성능을 발휘하는가?
• RQ2 λ₁(소수 클래스 노드 비율) 및 λ₂(판별기 훈련 빈도)와 같은 핵심 하이퍼파라미터가 ImGAGN의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 학습된 임베딩 공간에서 소수 클래스 노드와 다수 클래스 노드를 효과적으로 분리할 수 있는가?
• RQ4 생성기와 판별기를 갖춘 적대적 훈련 프레임워크는 불균형 그래프에서 노드 분류 성능을 향상시키는가?
• RQ5 그래프 생성기가 속성 및 위상적 특징을 동시에 모의하는 능력이 모델의 강건성과 일반화 능력에 얼마나 기여하는가?

주요 결과

• ImGAGN은 네 개의 실세계 불균형 데이터셋에서 재현율, 정밀도, AUC 측면에서 최신 기술을 능가하며, 특히 소수 클래스의 재현율 향상에 뚜렷한 효과를 보였다.
• 훈련 중 소수 클래스 노드 비율 λ₁가 0.7를 초과하고, 생성기 업데이트마다의 판별기 훈련 스텝 수 λ₂가 50을 초과할 경우 높은 성능을 달성하였다.
• 시각화 결과는 ImGAGN이 임베딩 공간에서 소수 클래스 노드를 다수 클래스 노드로부터 효과적으로 분리하고, 동시에 진짜 노드와 생성된(가짜) 노드를도 잘 구분함을 보여주었다.
• λ₁ = 0일 때 ImGAGN의 성능은 표준 GCN과 유사함을 보였으며, 이는 그래프 생성기가 불균형 데이터에서 GCN의 성능을 효과적으로 향상시킨다는 것을 시사한다.
• 라벨 정보를 활용하는 준지도 학습 방법인 ImGAGN, GCN-SMOTE, SPARC는 라벨 정보를 사용하지 않는 비지도 학습 방법인 DeepWalk 및 Node2vec보다 소수 및 다수 클래스 노드를 더 잘 구분하는 데 성공하였다.