[논문 리뷰] Annealing Genetic GAN for Minority Oversampling

Jingyu Hao, Chengjia Wang외 2명|arXiv (Cornell University)|2020. 08. 05.

Imbalanced Data Classification Techniques참고 문헌 25인용 수 10

한 줄 요약

이 논문은 국소 최적해 문제를 해결하기 위해 시뮬레이션된 냉각과 유전 알고리즘 원리를 GAN에 통합한 새로운 훈련 전략인 Annealing Genetic GAN(AGGAN)을 제안한다. 소수의 샘플에서 정확한 소수 클래스 분포를 효과적으로 학습하기 위해, 더 나쁜 해를 통제적으로 수용하고 여러 개의 생성자 후손을 육성함으로써 AGGAN은 희소한 샘플로부터 정확한 소수 클래스 분포를 효과적으로 학습하며, 특히 높은 불균형 비율에서 분류 성능을 크게 향상시킨다.

ABSTRACT

The key to overcome class imbalance problems is to capture the distribution of minority class accurately. Generative Adversarial Networks (GANs) have shown some potentials to tackle class imbalance problems due to their capability of reproducing data distributions given ample training data samples. However, the scarce samples of one or more classes still pose a great challenge for GANs to learn accurate distributions for the minority classes. In this work, we propose an Annealing Genetic GAN (AGGAN) method, which aims to reproduce the distributions closest to the ones of the minority classes using only limited data samples. Our AGGAN renovates the training of GANs as an evolutionary process that incorporates the mechanism of simulated annealing. In particular, the generator uses different training strategies to generate multiple offspring and retain the best. Then, we use the Metropolis criterion in the simulated annealing to decide whether we should update the best offspring for the generator. As the Metropolis criterion allows a certain chance to accept the worse solutions, it enables our AGGAN steering away from the local optimum. According to both theoretical analysis and experimental studies on multiple imbalanced image datasets, we prove that the proposed training strategy can enable our AGGAN to reproduce the distributions of minority classes from scarce samples and provide an effective and robust solution for the class imbalance problem.

연구 동기 및 목표

• 불균형 데이터셋에서 희소한 훈련 샘플로부터 정확한 소수 클래스 분포를 학습하는 데 도전한다.
• 소수 샘플이 제한적일 때 학습하는 동안 모드 붕괴를 유도하는 GAN 훈련의 국소 최적해 문제를 해결한다.
• 실제로 다양하고 현실적인 소수 클래스 샘플을 생성할 수 있는 능력을 향상시키기 위해 강력한 훈련 전략을 개발한다.
• 진정한 소수 클래스 분포를 더 잘 반영하는 고품질의 합성 데이터를 생성하여 소수 클래스의 분류기 성능을 향상시킨다.

제안 방법

• AGGAN은 생성자가 다양한 훈련 전략을 사용하여 다수의 후손을 생성하는 진화 과정으로 GAN 훈련을 재구성한다.
• 판별자 피드백에 기반하여 최상의 후손을 선택하고, 시뮬레이션된 냉각의 멜라토스 기준을 사용하여 생성자의 업데이트를 수용할지 거부할지 결정한다.
• 시뮬레이션된 냉각 메커니즘은 시간이 지남에 따라 점차 감소하는 확률로 더 나쁜 해를 일시적으로 수용함으로써 국소 최적해에서 벗어나도록 한다.
• 멜라토스 기준의 온도 파라미터는 점차 감소하여 훈련 중 탐색과 탐색의 균형을 제어한다.
• 유전 연산인 변이와 선택을 생성자 업데이트 과정에 통합하여 다양성과 수렴성을 향상시킨다.
• 이 방법은 원래의 판별자나 생성자 아키텍처를 변경하지 않고 GAN에 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 유전 알고리즘과 시뮬레이션된 냉각을 조합한 하이브리드 훈련 전략이 희소한 샘플에서 소수 클래스 분포를 학습하는 데 GAN의 능력을 향상시킬 수 있는가?
• RQ2 제안된 AGGAN 방법이 불균형 데이터에서 GAN 훈련 중 국소 최적해를 효과적으로 회피하고 모드 붕괴를 방지하는가?
• RQ3 표준 GAN과 다른 오버샘플링 기법에 비해 AGGAN은 소수 클래스의 분류 성능에서 어떻게 비교되는가?
• RQ4 초기 온도와 냉각 계수와 같은 하이퍼파rameter 설정이 AGGAN의 수렴성과 최종 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 불균형 비율이 100인 MNIST에서 AGGAN은 92.41%의 정확도를 기록하여 ACGAN(90.60%), E-GAN(91.41%) 및 기타 기준보다 뚜렷이 뛰어났다.
• 동일한 불균형 비율에서 Fashion-MNIST에서 AGGAN은 83.20%의 정확도를 기록하여 CB-loss와 DOS를 포함한 모든 비교 방법을 능가했다.
• 소수 클래스의 리콜이 AGGAN을 통해 크게 향상되어, 특히 높은 불균형 비율에서 진정한 소수 샘플을 더 잘 식별하는 것으로 나타났다.
• 특징 시각화 결과, AGGAN이 생성한 샘플이 원본 또는 기준 GAN 생성 데이터에 비해 테스트 세트에서 소수 클래스의 전체 분포를 더 잘 커버하고 있음을 확인했다.
• 하이퍼파라미터 분석 결과, 높은 초기 온도와 냉각 계수는 수렴 속도를 느리게 하지만 더 높은 최종 정확도를 제공하여 다양한 설정에서의 강건성을 입증했다.
• 종합적인 아블레이션 실험을 통해 유전 및 시뮬레이션된 냉각 요소가 모두 필수적이며, 둘 중 하나를 제거하면 성능이 크게 떨어지는 것으로 확인되었다.