[논문 리뷰] Data Augmentation in Emotion Classification Using Generative Adversarial Networks

Xinyue Zhu, Yifan Liu외 2명|arXiv (Cornell University)|2017. 11. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 76

한 줄 요약

이 논문은 불균형 데이터셋에서의 감정-이미지 분류를 개선하기 위해 CycleGAN 기반 데이터 증강을 제안하고, 소수 클래스를 생성하고 데이터 매니폴드를 풍부하게 함으로써 5–10% 수준의 정확도 향상을 달성한다.

ABSTRACT

It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.

연구 동기 및 목표

• 얼굴 표정 인식에서 불균형 감정 데이터셋의 문제에 대처한다.
• 소수 클래스 이미지를 생성하기 위한 CycleGAN 기반 데이터 증강 프레임워크를 제안한다.
• GAN 생성 데이터가 다수 벤치마크에서 분류 성능에 미치는 영향을 평가한다.

제안 방법

• 감정 이미지 인식을 위한 CNN 분류기를 사용한다.
• 참조 감정 도메인과 목표 감정 도메인 간의 이미지 생성을 위해 최소제곱 로스(LSGAN)와 함께 CycleGAN을 사용한다.
• 도메인 간 이미지 번역을 학습하기 위해 LSGAN 로스와 사이클 일관성 로스를 결합한다.
• GAN으로 생성된 샘플을 학습 세트에 추가하고 FER2013, SFEW, JAFFE 데이터셋에서 평가한다.
• 데이터 매니폴드 개선을 시각화하고 클래스 간 여백을 분석하기 위해 t-SNE를 사용한다.

실험 결과

연구 질문

• RQ1 CycleGAN 기반 데이터 증강이 불균형 감정 데이터셋에서 분류 정확도를 향상시킬 수 있는가?
• RQ2 LSGAN 로스를 사이클 일관성 로스와 결합하면 훈련 안정성과 샘플 품질이 향상되는가?
• RQ3 GAN 생성 샘플이 데이터 매니폴드를 의미 있게 보완하고 감정 클래스 간 여백을 확대하는가?

주요 결과

• GAN 기반 증강은 소수 클래스가 보완될 때 FER2013에서 전체 정확도 향상을 가져온다.
• 혐오(Disgust) 및 슬픔(Sad) 클래스가 증가 후 상당한 정확도 향상을 보인다.
• FER2013에서의 사전 학습 후 GAN 생성 데이터로 미세 조정을 수행하면 SFEW 및 JAFFE에 대한 성능이 향상된다.
• t-SNE 시각화는 증강 후 더 확장되고 뚜렷한 클래스 매니폴드를 시사한다.
• 본 접근법은 감정 분류 작업에서 약 5–10%의 향상을 달성한다.