[논문 리뷰] Adversarial Classifier for Imbalanced Problems

Ehsan Montahaei, Mahsa Ghorbani외 2명|arXiv (Cornell University)|2018. 11. 21.

Imbalanced Data Classification Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 불균형 분류를 위한 적대적 재가중(Adversarially Re-weighting for Imbalanced Classification, ARIC)을 제안한다. ARIC는 주로 다수 클래스 샘플에 동적 가중치를 부여하여 불균형 데이터셋에서 분류기 성능을 향상시키는 적대적 프레임워크이다. 정보가 풍부한 음성 샘플을 강조하는 생성기와 재가중된 샘플을 분류하는 판별기를 훈련시킴으로써, ARIC는 표본 기반 불균형 분류 및 그래프 표현 학습 과제(예: 링크 예측 및 다중 레이블 노드 분류)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Adversarial approach has been widely used for data generation in the last few years. However, this approach has not been extensively utilized for classifier training. In this paper, we propose an adversarial framework for classifier training that can also handle imbalanced data. Indeed, a network is trained via an adversarial approach to give weights to samples of the majority class such that the obtained classification problem becomes more challenging for the discriminator and thus boosts its classification capability. In addition to the general imbalanced classification problems, the proposed method can also be used for problems such as graph representation learning in which it is desired to discriminate similar nodes from dissimilar nodes. Experimental results on imbalanced data classification and on the tasks like graph link prediction show the superiority of the proposed method compared to the state-of-the-art methods.

연구 동기 및 목표

• 딥 러닝에서 클래스 불균형이 표현 학습을 왜곡함으로써 소수 클래스 성능이 열 劣하는 문제를 해결한다.
• 무작위 오버샘플링 및 비용 감안 학습과 같은 전통적 방법의 한계를 극복한다. 이러한 방법들은 정보가 풍부한 샘플을 기각하거나 데이터에 적응적인 가중치를 설정하지 못할 수 있다.
• 합성 샘플 생성 없이도 다양한 데이터 유형(예: 이산 특성 포함)에 적용 가능한 일반화 능력이 뛰어난 프레임워크를 개발한다.
• 데이터 생성을 넘어서 적대적 훈련의 개념을 직접적으로 불균형 설정에서 분류기 학습 향상에 응용한다.
• 링크 예측 및 다중 레이블 노드 분류 등에서 양성 쌍이 음성 쌍보다 훨씬 적은 그래프 표현 학습에서 이 방법의 효과를 입증한다.

제안 방법

• 다수 클래스(음성) 샘플에 대한 분포를 학습하는 생성기 네트워크를 훈련시켜, 각 샘플에 대해 중요도를 나타내는 연속적인 가중치를 할당한다.
• 생성기의 출력을 사용해 분류 손실에서 음성 샘플을 재가중함으로써 판별기의 학습 문제를 더 어렵게 만든다.
• 판별기를 양성 샘플과 재가중된 음성 샘플에 대해 적대적으로 훈련시켜, 강력한 결정 경계를 학습하도록 유도한다.
• 최소 최대 게임(minimax game) 방식으로 두 네트워크를 동시에 최적화한다: 생성기는 정보가 풍부한 음성 샘플을 선택하여 분류 작업을 더 어렵게 만들고자 하며, 판별기는 높은 정확도를 유지하고자 한다.
• 최종적으로 훈련된 판별기를 재학습 없이 후속 작업에 적용하며, 테스트 세트의 클래스 불균형으로 인한 편향을 피하기 위해 확률값을 반올림한다.
• 연결된 노드 쌍을 양성, 연결되지 않은 쌍을 음성으로 간주하여 그래프 표현 학습에 이 프레임워크를 적용하고, 유사도를 더 잘 구분할 수 있는 잠재 공간을 학습한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성 없이도 적대적 훈련을 불균형 데이터셋에서 분류기 성능 향상에 효과적으로 재활용할 수 있는가?
• RQ2 적대적 생성기를 통해 다수 클래스 샘플의 가중치를 학습하면 일반화 능력 향상과 소수 클래스 성능 향상에 기여하는가?
• RQ3 제안된 ARIC 프레임워크는 표본 기반 불균형 분류 및 그래프 표현 학습 과제에서 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ4 그래프 링크 예측에서 적대적 재가중 메커니즘이 무작위 또는 균일한 음성 샘플 샘플링보다 더 효과적인가?
• RQ5 다중 레이블 노드 분류에서 ARIC는 노드 임베딩의 질을 향상시켜 성능 향상에 어느 정도 기여하는가?

주요 결과

• arXiv-AstroPh 및 arXiv-GrQc 데이터셋에서 ARIC는 링크 예측에서 각각 91.90% 정확도와 91.26% 매크로-F1을 기록했으며, DeepWalk(82.52% 정확도), node2vec(82.49%), GraphGAN(81.86%)을 크게 앞서갔다.
• BlogCatalog에서 다중 레이블 노드 분류 과제에서 ARIC는 0.380 마이크로-F1과 0.198 매크로-F1을 기록했으며, DeepWalk(0.375 및 0.193)와 GraphGAN(0.284 및 0.127)을 모두 뛰어넘었다.
• Wikipedia에서 ARIC는 0.481 마이크로-F1과 0.084 매크로-F1을 기록했으며, DeepWalk(0.472 및 0.079)와 GraphGAN(0.472 및 0.079)을 초월했다.
• 여러 데이터셋과 평가 지표에서의 일관된 향상은 다수 클래스 샘플의 적대적 재가중이 모델 일반화 및 표현 학습을 향상시킨다는 것을 확인한다.
• ARIC의 성능 향상 요인은 생성기가 어려운 정보가 풍부한 음성 샘플에 집중할 수 있다는 점에 기인한다. 이는 판별기가 더 강력하고 정확해지도록 한다.
• 이 방법은 표본 기반 데이터를 넘어서 일반화 능력이 뛰어나, 양성 샘플이 흔하지 않은 그래프 기반 과제에서 강력한 성능을 보였다.