[논문 리뷰] Adversarial Learning of General Transformations for Data Augmentation

Saypraseuth Mounsaveng, David Vázquez외 2명|arXiv (Cornell University)|2019. 09. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 7

한 줄 요약

이 논문은 공간 변환망(STN)과 U-Net 기반 인코더-디코더 아키텍처를 통해 일반적인 이미지 변환을 학습하는 엔드 투 엔드 미분 가능한 데이터 증강 프레임워크를 제안한다. 이는 적대적 학습을 통해 다양하고 클래스 유지 성질을 갖는 증강을 생성한다. 제안된 방법은 수작업 기반 증강과 이미지 생성 기반 접근법을 모두 능가하며, MNIST, Fashion-MNIST, SVHN, CIFAR-10에서 최신 기술 수준의 정확도를 달성한다. 특히 저데이터 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Data augmentation (DA) is fundamental against overfitting in large convolutional neural networks, especially with a limited training dataset. In images, DA is usually based on heuristic transformations, like geometric or color transformations. Instead of using predefined transformations, our work learns data augmentation directly from the training data by learning to transform images with an encoder-decoder architecture combined with a spatial transformer network. The transformed images still belong to the same class but are new, more complex samples for the classifier. Our experiments show that our approach is better than previous generative data augmentation methods, and comparable to predefined transformation methods when training an image classifier.

연구 동기 및 목표

• 수행 기반 데이터 증강의 한계를 해결하기 위해 도메인 특화 지식이 필요하고 데이터 분포에 적응하지 못하는 문제를 해결한다.
• 저데이터 환경에서 GAN 기반 이미지 생성의 불안정성과 열악한 성능을 해결하기 위해 샘플을 새로 생성하는 것이 아니라 변환을 학습함으로써 개선한다.
• 데이터 증강 생성기와 분류기를 엔드 투 엔드로, 서로 다른iable 방식으로 함께 훈련시켜 분류기의 일반화 성능을 향상시킨다.
• STN를 통해 전역 애핀 변환과 U-Net를 통해 국소 픽셀 수준의 왜곡을 조합하여 더 강력하고 다양한 데이터 증강을 달성한다.

제안 방법

• 이 방법은 노이즈 벡터와 입력 이미지를 기반으로 전역 애핀 변환을 학습하기 위해 공간 변환망(STN)을 사용하며, 이를 통해 미분 가능한 공간 변환을 구현한다.
• U-Net 기반 인코더-디코더 아키텍처는 입력 이미지의 잠재 표현에서 국소적 비정규 변형(예: 색상 이동, 텍스처 변화)을 학습한다.
• 생성기는 두 개의 판별기로 적대적으로 훈련된다: 동일한 클래스에 속하도록 보장하기 위한 클래스 판별기($D^C$)와 정체성 또는 단순한 변환을 방지하기 위한 이질성 판별기($D^D$).
• 생성기와 분류기 사이에 추가적인 적대적 손실이 도입되어, 어려운 잘못 분류된 샘플을 생성하도록 유도함으로써 분류기의 강건성을 향상시킨다.
• 전체 시스템은 백프로파게이션를 사용해 생성기, 판별기, 분류기를 함께 최적화하는 엔드 투 엔드로 훈련된다.
• 이 방법은 MNIST, Fashion-MNIST, SVHN, CIFAR-10에 적용되었으며, 구성 요소 기여도를 검증하기 위한 추론 실험을 수행했다.

실험 결과

연구 질문

• RQ1 적대적 학습을 통한 이미지 변환 학습이 분류기 정확도 측면에서 전통적인 수작업 기반 데이터 증강을 능가할 수 있는가?
• RQ2 이미지를 새로 생성하는 대신 변환을 학습하는 것이, 특히 제한된 훈련 데이터에서 더 나은 성능을 내는가?
• RQ3 생성기와 분류기를 함께 엔드 투 엔드로 훈련하는 것이 별도로 훈련하는 것보다 더 효과적인가?
• RQ4 STN를 통한 전역(애핀) 변환과 U-Net를 통한 국소(픽셀 수준) 변환을 조합하면, 각각을 별도로 사용하는 것보다 더 뛰어난 데이터 증강을 이끌 수 있는가?
• RQ5 이중 판별기(클래스 및 이질성)의 사용이 단순한 변환을 방지하고 일반화 성능을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 제안된 방법은 사전 정의된 데이터 증강 없이 MNIST에서 테스트 정확도 80.5%를 달성했으며, 베이스라인 분류기(66%)를 뛰어넘고 수작업 및 GAN 기반 증강 방법을 모두 능가한다.
• STN(전역 변환용)과 U-Net(국소 왜곡용)의 조합이 가장 높은 성능을 보였으며, 양측 모두 사용 시 정확도가 80.14%에 도달한다.
• 두 판별기($D^C$ 및 $D^D$)를 함께 사용할 경우 정확도가 73.82%로 상승하여 단일 판별기 버전보다 뚜렷이 뛰어난 성능을 보였다.
• 생성기와 분류기 사이에 적대적 손실을 추가로 도입함으로써 정확도가 더욱 향상되었으며, 이는 어려운 적대적 샘플 생성이 모델의 강건성을 향상시킨다는 것을 보여준다.
• 추론 실험을 통해 STN, U-Net, 이중 판별기, 공동 훈련 각각의 구성 요소가 최적 성능 달성에 필수적임을 확인했다.
• 모델은 데이터셋에 특화된 변환을 학습한다: 예를 들어 SVHN에서는 중심 숫자에 대해 확대를 적용하고, CIFAR-10에서는 색상 및 대비 변화를 적용하며, MNIST와 Fashion-MNIST에서는 플립을 피한다.