[논문 리뷰] BAGAN: Data Augmentation with Balancing GAN

Giovanni Mariani, Florian Scheidegger외 3명|arXiv (Cornell University)|2018. 03. 26.

Advanced Neural Network Applications참고 문헌 22인용 수 258

한 줄 요약

BAGAN은 불균형 데이터셋에서 소수 클래스 이미지를 생성하기 위해 자가인코더 초기화와 잠재 공간 클래스 조건화를 사용하여 모든 클래스에서 공동으로 학습함으로써 소수 클래스 이미지 품질과 최종 분류기 정확도를 향상시킵니다.

ABSTRACT

Image classification datasets are often imbalanced, characteristic that negatively affects the accuracy of deep-learning classifiers. In this work we propose balancing GAN (BAGAN) as an augmentation tool to restore balance in imbalanced datasets. This is challenging because the few minority-class images may not be enough to train a GAN. We overcome this issue by including during the adversarial training all available images of majority and minority classes. The generative model learns useful features from majority classes and uses these to generate images for minority classes. We apply class conditioning in the latent space to drive the generation process towards a target class. The generator in the GAN is initialized with the encoder module of an autoencoder that enables us to learn an accurate class-conditioning in the latent space. We compare the proposed methodology with state-of-the-art GANs and demonstrate that BAGAN generates images of superior quality when trained with an imbalanced dataset.

연구 동기 및 목표

• 불균형한 이미지 데이터셋이 분류기 성능을 해치는 문제를 동기 부여하고 해결한다.
• 다수 클래스와 소수 클래스의 모든 사용 가능한 데이터를 활용하여 소수 클래스 이미지를 생성하도록 BAGAN을 제안한다.
• 안정한 해에서 시작하고 잠재 공간 클래스 조건화를 학습하기 위해 GAN을 자동인코더로 초기화한다.
• 생성기가 모드 붕괴를 피하고 다양성을 보장하면서 목표 클래스 이미지를 생성하도록 유도한다.
• 이미지 품질과 다운스트림 분류 정확도에서 개선을 보이며 여러 데이터셋에 걸쳐 BAGAN을 최신 GAN들과 비교 평가한다.

제안 방법

• 학습 데이터의 모든 이미지(다수 및 소수 클래스)에 대해 자동인코더를 학습시켜 무조건적 표현을 얻는다.
• 자동인코더의 가중치를 GAN에 전달하여(디코더를 제너레이터로, 인코더를 디스크리미네이터로) 잘 수렴하는 해 근처에서 적대적 학습을 시작한다.
• 잠재 공간에서 각 클래스 조건화를 각 클래스에 대해 N_c = N(mu_c, Sigma_c)인 다변량 정규분포에서 얻은 클래스 조건 잠재 벡터 생성기로 모델링한다.
• 단일 출력 판별기를 학습시켜 문제 특성 클래스 라벨 c 또는 위조(fake) 라벨을 예측하게 하고, 생성기가 대상 클래스 c에 해당하는 이미지를 생성하도록 학습한다.
• 적대적 학습 중에 1/(n+1) 비율의 위조 이미지를 포함한 균형 배치를 공급하고, 각 클래스 c에 대해 Z_c 벡터를 사용하여 위조 이미지를 생성한다.
• BAGAN을 ACGAN 및 간단한 GAN과 비교하고 품질, 다양성(SSIM), 그리고 다운스트림 분류 정확도를 분석한다.

실험 결과

연구 질문

• RQ1 다수 클래스와 소수 클래스로 구성된 데이터에 대해 자동인코더 초기화로 학습된 GAN이 불균형 데이터에서 소수 클래스 이미지를 고품질로 생성할 수 있는가?
• RQ2 잠재 공간에 클래스 조건화를 내재시키고 자동인코더 기반 초기화를 적용하면 소수 클래스의 모드 붕괴를 줄이고 다양성을 향상시키는가?
• RQ3 BAGAN은 이미지 품질, 다양성, 그리고 불균형 데이터셋의 다운스트림 분류 성능 측면에서 ACGAN 및 간단한 GAN과 어떻게 비교되는가?

주요 결과

• BAGAN은 일반적으로 데이터셋 간 ACGAN 및 간단한 GAN보다 소수 클래스 이미지의 품질이 더 높은 경향을 보인다.
• 생성된 소수 클래스 이미지는 증강 데이터로 학습된 ResNet-18으로 분류했을 때 특히 심한 불균형 상황에서 더 높은 정확도를 달성한다.
• SSIM 분석은 BAGAN이 ACGAN 및 간단한 GAN에 비해 생성 이미지 간 다양성을 더 잘 유지하며 실제 이미지의 다양성에 근접함을 보여준다.
• GTSRB에서 BAGAN은 평가된 방법들 중 최상의 다운스트림 분류 정확도를 달성하며, MNIST, CIFAR-10, Flowers에서 방향 의존 특징이 관여하는 경우 BAGAN이 종종 대체 증강보다 우수하거나 비슷한 성능을 보인다.
• 단순 GAN은 불균형 조건에서 종종 클래스당 한 샘플로 축소되는 반면, BAGAN은 이를 통합된 클래스 조건화 및 초기화를 통해 피한다.
• 전반적으로 BAGAN은 불균형 데이터셋에서 소수 클래스 이미지를 생성하는 최신 GAN들보다 우수한 성능을 보이며 분류기 정확도를 높인다.