[논문 리뷰] Deep Learning for Imbalance Data Classification using Class Expert Generative Adversarial Network

Fanny, Tjeng Wawan Cenggoro|arXiv (Cornell University)|2018. 07. 12.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 각 클래스의 고유한 특징을 사전 학습한 클래스 전문 생성 적대적 네트워크(Class Expert Generative Adversarial Network, CE-GAN)를 제안한다. 이는 공유 분류기에서 미세조정하기 전에 클래스별로 특화된 GAN을 사전 학습하는 딥러닝 프레임워크이다. CE-GAN은 불균형 데이터에서 최신 기술 수준의 성능을 달성하여 전체 정확도(87.38%)와 소수 클래스의 정밀도를 모두 향상시켰다. 특히 Bald 클래스의 정밀도가 77.78%로 향상되었으며, 기준 CNN 및 기타 GAN 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Without any specific way for imbalance data classification, artificial intelligence algorithm cannot recognize data from minority classes easily. In general, modifying the existing algorithm by assuming that the training data is imbalanced, is the only way to handle imbalance data. However, for a normal data handling, this way mostly produces a deficient result. In this research, we propose a class expert generative adversarial network (CE-GAN) as the solution for imbalance data classification. CE-GAN is a modification in deep learning algorithm architecture that does not have an assumption that the training data is imbalance data. Moreover, CE-GAN is designed to identify more detail about the character of each class before classification step. CE-GAN has been proved in this research to give a good performance for imbalance data classification.

연구 동기 및 목표

• 클래스 분포의 기울임으로 인해 소수 클래스가 무시되는 불균형 데이터셋에서 딥러닝 모델의 성능이 열 劣하는 문제를 해결하기 위해.
• 학습 중에 불균형을 가정하는 기존 방법들은 균형 잡힌 데이터셋에서의 성능을 떨어뜨릴 수 있다는 한계를 극복하기 위해.
• 각 클래스의 고유한 특징을 학습하기 위해 클래스별 모델을 사전 학습하고, 이후 공동 분류를 위한 새로운 아키텍처를 개발하기 위해.
• GAN에서 유도된 분류 기능을 공유 분류기에 전이하여 전체 정확도와 소수 클래스의 정밀도를 향상시키기 위해.
• 전이된 GAN 가중치를 고정시키는지 또는 미세조정하는지의 영향을 분석하여, 특히 소수 클래스 예측의 균형을 어떻게 영향을 미치는지 조사하기 위해.

제안 방법

• 각 GAN이 단일 클래스에서 학습되어 고유한 데이터 분포를 학습할 수 있도록 클래스별 특화된 GAN 아키텍처를 사용한다.
• GAN의 판별기(Discriminator)를 이진 분류기로 학습하여 목표 클래스의 진짜 샘플과 생성된 샘플을 구분함으로써 클래스별 특징을 인코딩한다.
• 사전 학습된 판별기 가중치를 자동에코형 방식이 아닌 방식으로 공유 CNN 분류기에 전이하여, GAN의 분류 능력을 활용한다.
• 감독 학습 중에 전이된 가중치를 미세조정하여 전체 다중 클래스 작업에 맞는 특징 적응을 가능하게 한다.
• 두 가지 변형을 비교한다: CE-GAN(가중치 학습 가능)과 FCE-GAN(가중치 고정)으로, 미세조정의 영향을 성능에 미치는 영향을 평가한다.
• 극도로 불균형한 클래스 분포를 가진 5개의 얼굴 특징 클래스를 포함한 잘린 CelebA 데이터셋에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 표준 CNN과 비교해 볼 때, GAN 기반 사전 학습 전략이 극도로 불균형한 데이터셋에서 분류 성능을 향상시킬 수 있는가?
• RQ2 소수 클래스 인식에 있어, 자동에코형 사전 학습보다 GAN 판별기를 사용한 클래스별 사전 학습이 더 나은 특징 표현을 제공하는가?
• RQ3 전이된 GAN 가중치를 미세조정할 경우, 소수 클래스와 다수 클래스 간의 예측 균형에 어떤 영향을 미치는가?
• RQ4 CE-GAN 프레임워크는 부트스트랩핑, 비용 감안 학습, 또는 다른 GAN 통합 CNN과 같은 기존 방법보다 정확도와 정밀도 측면에서 모두 뛰어나게 성능을 내는가?
• RQ5 전이된 GAN 가중치를 고정시키는(FCE-GAN) 것과 가중치를 미세조정할 수 있도록 허용하는(CE-GAN) 것의 영향은 소수 클래스 탐지에 어떤 영향을 미치는가?

주요 결과

• CE-GAN CNN은 전체 정확도 87.38%를 기록하여 기준 CNN(87.13%)과 기타 GAN 기반 모델을 능가했다.
• CE-GAN은 모든 소수 클래스의 정밀도를 향상시켰다: 5 O’Clock Shadow(65.20%), Arched Eyebrows(76.00%), Bags Under Eyes(77.35%), Bald(77.78%)로, 기준 CNN보다 뛰어난 성능을 보였다.
• 다수 클래스 'Attractive'의 정밀도는 CE-GAN에서 1.57% 향상되어 더 나은 일반화와 편향 감소를 나타냈다.
• 전이된 가중치를 고정하는 FCE-GAN은 심각하게 성능이 열 劣하여 전체 정밀도 64.30%를 기록했으며, 부트스트랩핑을 적용한 CNN(52.54%) 및 CosenCNN(58.54%)보다 열 劣했다.
• CE-GAN은 다섯 클래스 중 네 개의 클래스에서 가장 높은 클래스별 정확도를 기록했으며, 기준 CNN 대비 'Bags Under Eyes' 클래스에서 뿐 0.45% 감소에 그쳤다.
• 생성된 이미지의 시각적 점검을 통해 GAN이 성공적으로 고유한 클래스별 특징(예: 백발, 5 o’clock shadow)을 포착했음을 확인하였으며, 이는 사전 학습 단계의 특징 학습 능력을 검증하였다.