[논문 리뷰] Effective Data Augmentation with Multi-Domain Learning GANs

Shin’ya Yamaguchi, Sekitoshi Kanai외 1명|arXiv (Cornell University)|2019. 12. 25.

Image Processing Techniques and Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 도메인 융합(Domain Fusion, DF)을 제안하며, 타겟 도메인과 외부 외부 도메인을 함께 학습하여 저자원 데이터셋에서 모델의 일반화 능력을 향상시키는 다중도메 학습 기반 GAN 데이터 증강 방법이다. 공유된 GAN 파라미터를 활용해 고해상도이자 다양한 샘플을 생성함으로써 기존의 데이터 증강 기법과 최적화된 GAN보다 뛰어난 성능을 발휘하며, 단지 5,000개의 타겟 샘플만으로도 CIFAR-100, FGVC-Aircraft, Indoor Scene Recognition에서 최신 기준 성능을 달성한다.

ABSTRACT

For deep learning applications, the massive data development (e.g., collecting, labeling), which is an essential process in building practical applications, still incurs seriously high costs. In this work, we propose an effective data augmentation method based on generative adversarial networks (GANs), called Domain Fusion. Our key idea is to import the knowledge contained in an outer dataset to a target model by using a multi-domain learning GAN. The multi-domain learning GAN simultaneously learns the outer and target dataset and generates new samples for the target tasks. The simultaneous learning process makes GANs generate the target samples with high fidelity and variety. As a result, we can obtain accurate models for the target tasks by using these generated samples even if we only have an extremely low volume target dataset. We experimentally evaluate the advantages of Domain Fusion in image classification tasks on 3 target datasets: CIFAR-100, FGVC-Aircraft, and Indoor Scene Recognition. When trained on each target dataset reduced the samples to 5,000 images, Domain Fusion achieves better classification accuracy than the data augmentation using fine-tuned GANs. Furthermore, we show that Domain Fusion improves the quality of generated samples, and the improvements can contribute to higher accuracy.

연구 동기 및 목표

• 딥러닝에서 데이터 수집 및 레이블링의 높은 비용과 확장성의 한계를 해결하기 위해.
• 기존의 데이터 증강 기법이 저자원 데이터셋에서 진정으로 새로운 또는 다양한 샘플을 생성할 수 없다는 한계를 극복하기 위해.
• GAN 기반 생성을 통해 외부 외부 도메인의 지식을 활용하여 소규모 타겟 데이터셋에서의 모델 일반화 능력을 향상시키기 위해.
• 최소한의 타겟 데이터로도 고해상도이자 다양한 샘플을 생성함으로써 열악한 품질의 GAN 출력으로 인한 성능 저하를 방지하기 위해.
• 외부 도메인 선택과 샘플 품질이 최종 분류 성능에 미치는 영향을 체계적으로 평가하기 위해.

제안 방법

• 타겟 데이터셋과 외부 외부 데이터셋을 동시에 학습하는 조건부 GAN 프레임워크인 도메인 융합(DF)을 제안하여 현실적이고 클래스 조건부 샘플을 생성한다.
• 공유된 파라미터를 가진 다중도메 학습 GAN을 활용해 학습 과정에서 외부 도메인의 지식을 타겟 도메인으로 전이한다.
• 도메인 유사도와 샘플 다양성 기반으로 가장 관련성이 높은 외부 데이터셋을 선별하기 위해 프레셰 이너셉션 거리(Fréchet Inception Distance, FID)와 다중스케일 구조적 유사도(Multi-scale Structural Similarity, MS-SSIM)를 융합한 새로운 지표를 도입한다.
• 조건부 GAN에 확장된 디스크림이네이터 거부 샘플링(Discriminator Rejection Sampling, DRS)을 적용하여 품질이 낮고 비현실적인 생성 샘플을 걸러낸다.
• DF가 생성한 샘플과 기존의 데이터 증강 기법을 융합하여 모델 정확도를 추가로 향상시킨다.
• 조건부 GAN을 사용해 클래스별로 특화된 샘플을 생성함으로써 생성된 데이터가 타겟 작업의 의미론과 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 극히 제한된 상황에서 다중도메 학습 GAN이 최적화된 GAN보다 더 높은 품질과 더 다양한 샘플을 생성할 수 있는가?
• RQ2 외부 데이터셋의 선택이 저자원 환경에서의 데이터 증강 성능에 어떤 영향을 미치는가?
• RQ3 생성 샘플의 품질이 최종 분류 성능과 얼마나 관련이 있는가?
• RQ4 DF와 기존 데이터 증강 기법을 융합하면 기존 증강 기법만 사용할 때보다 더 높은 성능을 낼 수 있는가?
• RQ5 다중도메 학습은 최적화 기반 접근법보다 외부 도메인의 지식을 더 잘 유지하는가?

주요 결과

• CIFAR-100에서 단지 5,000장의 학습 이미지만으로도 도메인 융합은 기존의 데이터 증강 기법과 최적화된 GAN(TGANs)보다 높은 분류 정확도를 달성했다.
• 식품용기 및 가정용 가구 수퍼클래스에서 DF는 각각 1.25점과 1.21점의 정확도 향상을 기록하며, TGAN과 CGAN을 모두 초월했다.
• 사람 수퍼클래스의 경우, 외부 도메인으로 Pascal-VOC를 사용한 DF는 1.20의 개선율을 기록했으며, TGAN의 1.07보다 뚜렷하게 높아 지식 전이 능력이 뛰어났다.
• 사람 클래스의 경우 DF는 FID(125.6)가 낮고 Inception Score(IS: 3.85)가 높아 TGAN(FID: 135.5, IS: 3.29)보다 더 높은 샘플 품질을 확인했다.
• DF와 기존 데이터 증강 기법의 조합은 기존 증강 기법만 사용하는 것보다 뛰어난 성능을 보였으며, 상호보완적 이점을 입증했다.
• 연구 결과, 생성 샘플의 품질(FID 및 IS로 측정)과 최종 분류 정확도 사이에 강한 상관관계가 있음을 확인했다.