[논문 리뷰] Removing Class Imbalance using Polarity-GAN: An Uncertainty Sampling Approach

Deepshikha Kumari, Anugunj Naman|arXiv (Cornell University)|2020. 12. 09.

Digital Imaging for Blood Diseases인용 수 7

한 줄 요약

이 논문은 소수 클래스의 볼륨이 매우 적은 시각적 데이터셋에서의 클래스 불균형 문제를 완화하기 위해, 소수 클래스의 볼륨 내에서 합성 샘플을 생성하도록 훈련하는 GAN 기반 방법인 Polarity-GAN을 제안한다. 이 방법은 생성자(G)가 소수 클래스의 볼륨 내에서 합성 샘플을 생성하면서도, 판별자(D)와 분류기(C)와의 경쟁을 통해 경계 학습을 향상시킨다. 이 방법은 FashionMNIST, SVHN, 그리고 COVIDx를 포함한 여러 극단적 시각 분류 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하며, 불균형한 새 종류 데이터에서 F1 점수 최대 0.98을 기록한다.

ABSTRACT

Class imbalance is a challenging issue in practical classification problems for deep learning models as well as for traditional models. Traditionally successful countermeasures such as synthetic over-sampling have had limited success with complex, structured data handled by deep learning models. In this work, we propose to use a Generative Adversarial Network (GAN) equipped with a generator network G, a discriminator network D and a classifier network C to remove the class-imbalance in visual data sets. The generator network is initialized with auto-encoder to make it stable. The discriminator D ensures that G adheres to class distribution of imbalanced class. In conventional methods, where Generator G competes with discriminator D in a min-max game, we propose to further add an additional classifier network to the original network. Now, the generator network tries to compete in a min-max game with Discriminator as well as the new classifier that we have introduced. An additional condition is enforced on generator network G to produce points in the convex hull of desired imbalanced class. Further the contention of adversarial game with classifier C, pushes conditional distribution learned by G towards the periphery of the respective class, compensating the problem of class imbalance. Experimental evidence shows that this initialization results in stable training of the network. We achieve state of the art performance on extreme visual classification task on the FashionMNIST, MNIST, SVHN, ExDark, MVTec Anomaly Detection dataset, Chest X-Ray dataset and others.

연구 동기 및 목표

• 소수 클래스에 훈련 샘플이 매우 적은 극단적 클래스 불균형을 보이는 시각적 데이터셋에서의 문제를 해결한다.
• 복잡하고 고차원적인 데이터에서 과적합 위험이 있으며 성능이 떨어지는 전통적 데이터 수준의 방법(예: SMOTE 및 오버샘플링)의 한계를 극복한다.
• 소수 클래스 분포의 경계에 위치한 고품질이고 다양한 합성 샘플을 생성하여 딥러닝 모델의 소수 클래스 성능을 향상시킨다.
• 수정된 GAN 아키텍처를 사용한 새로운 불확실성 샘플링 프레임워크를 도입하여 소수 클래스에 대해 어려운, 정보가 풍부한 샘플을 적극적으로 식별하고 생성한다.
• 자동에코더 초기화를 통해 GAN 훈련을 안정화시키고, 생성된 샘플에 구조적 제약을 부여하여 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 생성자(G), 판별자(D), 분류기(C)로 구성된 수정된 GAN 아키텍처를 제안하며, 이는 G가 D와 C 양쪽과의 미니맥스 게임을 통해 경쟁하도록 구성된다.
• 생성자의 훈련 안정성을 향상시키고 특징 재구성 품질을 높이기 위해 사전 훈련된 자동에코더로 생성자를 초기화한다.
• 생성된 샘플이 소수 클래스 훈련 데이터의 볼륨 내에 있어야 한다는 기하학적 제약 조건을 도입하여 클래스 특화된 구조를 유지한다.
• 가장 낮은 신뢰도(LC), 신뢰도 마진(MC), 신뢰도 비율(RC), 엔트로피를 사용한 불확실성 샘플링 지표를 활용하여 분류가 어려운 샘플을 식별하고 우선순위를 정한다.
• 분류기가 낮은 신뢰도 예측을 내릴 수 있도록 생성자를 훈련시켜, 모델의 불확실성 또는 희귀 예측에 대한 강건성을 향상시킨다.
• D의 적대적 손실과 C의 분류 손실을 활용하여 생성 샘플이 소수 클래스 분포의 외곽선 쪽으로 이동하도록 유도함으로써 경계 학습을 강화한다.

실험 결과

연구 질문

• RQ1 소수 클래스에 100개 미만의 샘플이 존재하는 극단적 불균형 상황에서 GAN 기반 접근법이 고품질의 합성 샘플을 효과적으로 생성할 수 있는가?
• RQ2 소수 클래스 샘플의 볼륨 내에 생성 출력을 제약하는 것이 모델의 일반화 능력과 소수 클래스 성능에 어떤 영향을 미치는가?
• RQ3 기존 GAN과 비교해 분류기를 추가적인 적대자로 도입함으로써 생성 샘플의 품질과 다양성은 얼마나 향상되는가?
• RQ4 제안된 방법은 라벨이 제한된 데이터에서 활성 학습 환경에서 효과적인 불확실성 샘플링 전략이 될 수 있는가?
• RQ5 자동에코더 초기화와 볼륨 제약 조건의 조합이 기존 GAN에 비해 불균형한 시각 데이터에서 더 안정적인 GAN 훈련을 이끌 수 있는가?

주요 결과

• Kaggle Birds 데이터셋에서 소수 클래스 비율이 300:100:100:100으로 극도로 불균형한 상황에서도 Polarity-GAN은 F1 점수 0.98을 기록하며 이전 방법들을 능가한다.
• Covidx 데이터셋에서 PGAN은 F1 점수 0.96를 기록했으며, 이는 이전에 기준 모델에서 잘못 분류되었던 0.4%의 희귀한 코로나19 환자 케이스를 정확히 분류한 것으로, 초희귀 클래스에 대한 뛰어난 성능을 입증한다.
• SVHN에서 클래스 비율이 5000에서 50개 사이로 다양하게 변동하는 상황에서도 PGAN은 F1 점수 0.78을 기록하여 다양한 불균형 정도에 대해 강건함을 입증한다.
• 12개 클래스와 극단적 불균형을 보이는 저조도 이미지 분류 데이터셋인 ExDark에서 PGAN은 F1 점수 0.54를 기록하며 도전적인 시각 조건에서도 효과적임을 보였다.
• 클래스 불균형이 존재하는 비디오 동작 인식 데이터셋인 UCF101에서, PGAN은 F1 점수 0.74를 기록했으며, 이는 정적 이미지 데이터를 초월한 적용 가능성도 확인한다.
• 모든 평가된 데이터셋에서 최신 기술(SOTA) 기반 모델을 일관되게 능가하며, MNIST, FashionMNIST, MVTec 이상 탐지 데이터셋을 포함해 극단적 시각 분류 작업 전반에 걸쳐 넓은 효과를 보였다.