[논문 리뷰] The Effectiveness of Data Augmentation in Image Classification using Deep Learning

Luis Perez, Jason Wang|arXiv (Cornell University)|2017. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 2,535

한 줄 요약

논문은 작은 두 클래스 하위 집합에서의 Tiny ImageNet과 MNIST에 대해 전통적 데이터 증강, GAN 기반 스타일 전송, 신경 증강 전략을 비교하여 일부 경우에 신경 증강이 전통 방법을 능가할 수 있음을 보여준다.

ABSTRACT

In this paper, we explore and compare multiple solutions to the problem of data augmentation in image classification. Previous work has demonstrated the effectiveness of data augmentation through simple techniques, such as cropping, rotating, and flipping input images. We artificially constrain our access to data to a small subset of the ImageNet dataset, and compare each data augmentation technique in turn. One of the more successful data augmentations strategies is the traditional transformations mentioned above. We also experiment with GANs to generate images of different styles. Finally, we propose a method to allow a neural net to learn augmentations that best improve the classifier, which we call neural augmentation. We discuss the successes and shortcomings of this method on various datasets.

연구 동기 및 목표

• 데이터가 제한될 때 이미지 분류에 다양한 데이터 증강 기술이 미치는 영향을 조사한다.
• 전통적 증강, GAN 기반 스타일 전송, 신경 증강을 두 클래스 설정에서 비교한다.
• 학습 가능한 증강이 과적합을 줄이고 다양한 데이터셋에서 일반화 성능을 개선하는지 평가한다.

제안 방법

• Tiny ImageNet 및 MNIST의 두 클래스 하위 집합에서 작은 CNN(SmallNet)을 학습한다.
• 전통적인 아핀 변환(이동, 확대/축소, 회전, 뒤집기, 색상/색조 변화)을 적용하여 증강 데이터를 생성한다.
• CycleGAN 스타일의 스타일 전송을 사용하여 증강용으로 스타일이 적용된 이미지 버전을 만든다.
• 두 개의 같은 클래스 이미지를 받아 증강 이미지를 출력하고 이를 분류기에 feed하는 AugNet 증강 네트워크를 개발한다.
• 분류 손실과 증강 손실(콘텐츠 또는 스타일) 또는 증강 손실 없이 결합 손실로 학습하고 결과를 비교한다.
• Adam 옵티마이저를 사용하여 40 에폭 동안 검증 정확도를 측정하여 모든 증강 방식을 평가한다.

실험 결과

연구 질문

• RQ1 전통적, GAN 기반, 신경 증강 방법이 작은 두 클래스 데이터셋에서 검증 정확도 향상에 어떤 차이를 보이는가?
• RQ2 콘텐츠 손실 또는 스타일 손실과 함께하는 신경 증강이 전통 증강이나 GAN 기반 방법보다 더 좋은가?
• RQ3 신경 증강 방법이 데이터셋(dogs vs. cats, dogs vs. goldfish, MNIST) 전반에 걸쳐 강건한가?

주요 결과

데이터셋(쌍)	증강	검증 정확도
Dogs vs Goldfish	None	0.855
Dogs vs Goldfish	Traditional	0.890
Dogs vs Goldfish	GANs	0.865
Dogs vs Goldfish	Neural + No Loss	0.915
Dogs vs Goldfish	Neural + Content Loss	0.900
Dogs vs Goldfish	Neural + Style	0.890
Dogs vs Goldfish	Control	0.840
Dogs vs Cats	None	0.705
Dogs vs Cats	Traditional	0.775
Dogs vs Cats	GANs	0.720
Dogs vs Cats	Neural + No Loss	0.765
Dogs vs Cats	Neural + Content Loss	0.770
Dogs vs Cats	Neural + Style	0.740
Dogs vs Cats	Control	0.710
MNIST 0s vs 8s	None	0.972
MNIST 0s vs 8s	Neural + No Loss	0.975
MNIST 0s vs 8s	Neural + Content Loss	0.968
MNIST 0s vs 8s	(no style for grayscale)	-

• 전통 증강은 증강이 없는 경우보다 검증 정확도를 향상시킨다(예: dogs vs goldfish: 0.855 → 0.890).
• GAN 기반 증강은 일부 경우에만 증강 없이 대비하여 약간의 이득을 제공하지만 보편적이지는 않다(예: dogs vs goldfish: 0.865).
• 증강 손실이 없는 신경 증강은 dogs vs goldfish에서 가장 높은 검증 정확도(0.915)를 달성한다.
• 콘텐츠 손실 또는 스타일 손실을 사용하는 신경 증강은 일반적으로 dogs vs cats 및 dogs vs goldfish에서 최적의 신경/무손실 설정과 같거나 약간 뒤처진다.
• MNIST에서의 신경 증강은 무증강 대비 소폭 향상(0.975 vs. 0.972)이다.
• 신경 증강은 정규화 효과를 나타내고 과적합을 줄이는 데 도움을 줄 수 있지만, 이득은 데이터셋과 아키텍처에 따라 달라진다.