[논문 리뷰] Data Augmentation in Classification using GAN

Xinyue Zhu, Yifan Liu외 1명|arXiv (Cornell University)|2017. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 클래스 불균형 문제, 특히 정서 인식에서 일부 클래스(예: '혐오')가 희귀한 상황에서 이미지 분류 성능을 향상시키기 위해 CycleGAN 기반의 GAN 데이터 증강 프레임워크를 제안한다. 최소 제곱 판별 손실을 사용하여, 데이터 만곡선을 보완하고 클래스 간 간격을 개선하는 현실적인 합성 이미지를 생성함으로써, 기준 데이터셋에서 분류 정확도를 5%~10% 향상시킨다.

ABSTRACT

It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.

연구 동기 및 목표

• 제한적이고 불균형한 레이블이 부여된 데이터로 인한 이미지 분류 과제를 해결하기 위해, 특히 정서 인식에서 일부 클래스(예: '혐오')가 희귀한 경우에 초점을 맞춘다.
• 기본 데이터 만곡선을 더 잘 반영하는 현실적인 합성 이미지를 통해 훈련 데이터를 증강하여 분류 성능을 향상시키기 위해 노력한다.
• GAN 학습에서 흔히 발생하는 기울기 소실 문제를 줄이기 위해 최소 제곱 판별 손실을 적용한다.
• 여러 기준 데이터셋을 대상으로 제안된 GAN 기반 증강 프레임워크의 효과성을 검증한다.

제안 방법

• 합성 이미지를 위한 데이터 증강을 위해, CNN 분류기와 함께 CycleGAN 생성기를 함께 훈련시킨다.
• CycleGAN 아키텍처는 쌍이 없는 이미지 간 번역을 가능하게 하여, 소스 도메인에서 다양한 현실적인 샘플을 생성할 수 있다.
• GAN 최적화 과정에서 기울기 소실 문제를 줄이기 위해 최소 제곱 손실을 판별 손실로 사용한다.
• 이웃한 클래스 사이의 저밀도 영역에 위치한 샘플을 생성함으로써, 클래스 간 간격을 향상시킨다.
• 생성기는 이미지의 의미적 내용을 유지하면서도, 목표 클래스 분포에 맞게 변형시킨다.
• 분류 정확도에 대한 증강된 데이터의 영향을 평가하기 위해, 다수의 지표를 사용하여 세 가지 기준 데이터셋에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한적이고 클래스 간 불균형이 심한 상황에서 GAN 기반 데이터 증강이 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 최소 제곱 손실을 사용한 CycleGAN이 데이터 증강을 위해 현실적이고 의미적으로 유의미한 이미지를 효과적으로 생성할 수 있는가?
• RQ3 제안된 방법이 데이터 만곡선을 보완하고 더 나은 결정 경계를 찾음으로써 클래스 간 분리도를 향상시키는가?
• RQ4 증강 기법이 정서 분류에서 빈도가 높은 클래스와 희귀한 클래스 간 성능 격차를 어느 정도 줄이는가?
• RQ5 정확도 향상 측면에서 제안된 방법은 기존의 표준 데이터 증강 기법과 비교해 어떤가?

주요 결과

• 제안된 GAN 기반 데이터 증강 방법은 여러 기준 데이터셋에서 분류 정확도를 5%에서 10%까지 향상시켰다.
• 최소 제곱 손실의 사용은 GAN 학습 중 기울기 소실 문제를 효과적으로 완화하여 더 안정적이고 효과적인 생성을 가능하게 했다.
• CycleGAN이 생성한 합성 이미지는 데이터 만곡선을 보완하여 일반화 능력 향상과 결정 경계 분리도 향상에 기여했다.
• 이 방법은 불균형 데이터셋에서 희귀한 정서 클래스인 '혐오'의 오분류를 특히 효과적으로 줄였다.
• 세 가지 기준 데이터셋에서의 평가 결과, 다양한 이미지 분류 과제에 걸쳐 일관된 성능 향상이 확인되어, 이 방법의 강건성을 입증했다.