[논문 리뷰] This dataset does not exist: training models from generated images

Victor Besnier, Himalaya Jain외 3명|arXiv (Cornell University)|2019. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 BigGAN으로 생성된 유사 이미지만을 사용하여 정확한 이미지 분류기를 훈련시키기 위한 세 가지 기법을 제안한다: 더 유용한 데이터를 얻기 위한 잠재 코드 최적화, 훈련 중 연속적인 데이터 샘플링을 통한 다양성 향상, 배치 정규화 적응(BNA)을 통한 테스트 시 적응. 이 세 가지 방법을 조합하면 무작위로 샘플링된 생성 이미지로 단순 훈련하는 것에 비해 ImageNet-10에서 상위-1 정확도를 15% 향상시켜 88.8%의 정확도를 달성한다.

ABSTRACT

Current generative networks are increasingly proficient in generating high-resolution realistic images. These generative networks, especially the conditional ones, can potentially become a great tool for providing new image datasets. This naturally brings the question: Can we train a classifier only on the generated data? This potential availability of nearly unlimited amounts of training data challenges standard practices for training machine learning models, which have been crafted across the years for limited and fixed size datasets. In this work we investigate this question and its related challenges. We identify ways to improve significantly the performance over naive training on randomly generated images with regular heuristics. We propose three standalone techniques that can be applied at different stages of the pipeline, i.e., data generation, training on generated data, and deploying on real data. We evaluate our proposed approaches on a subset of the ImageNet dataset and show encouraging results compared to classifiers trained on real images.

연구 동기 및 목표

• 최신 GAN 기술인 BigGAN과 같은 상태기반 GAN으로 생성된 유사 이미지만을 사용하여 딥 이미지 분류기가 효과적으로 훈련될 수 있는지 조사하는 것.
• 실제 ImageNet 데이터에 비해 무작위로 샘플링된 생성 이미지로 훈련했을 때 성능 저하가 발생하는 이유를 해결하는 것.
• 실제로 생성된 데이터로만 훈련하는 조건에서 성능을 향상시키는 실용적이고 독립적인 기법을 개발하는 것.
• 이러한 기법들이 고립된 상태와 조합된 상태에서 ImageNet의 하위 집합(ImageNet-10)에서 효과적으로 작용하는지 평가하는 것.

제안 방법

• 분류기 훈련에 더 유용한 이미지를 생성할 수 있도록 더 정보적인 잠재 코드를 찾기 위해 잠재 공간 최적화(HSM)를 제안한다.
• 매 에포크마다 생성된 훈련 데이터의 일부를 새로운 샘플링된 이미지로 지속적으로 교체함으로써 효과적인 다양성을 높이는 동적 샘플링(DS)을 도입한다.
• 훈련된 분류기의 통계를 실제 데이터 분포와 일치시키기 위해 테스트 시 적응 방법으로 배치 정규화 적응(BNA)을 활용한다.
• 128×128 해상도의 이미지를 생성하기 위해 사전 훈련된 BigGAN을 생성기로 사용하고, 모든 실험에서 ResNet-18을 분류기로 사용한다.
• SGD, 가중치 감소, 학습률 감소와 같은 표준 훈련 프로토콜을 적용하며, DS에서 데이터 교체 비율을 다양하게 설정한다.
• 실제 ImageNet 검증 이미지에서 상위-1 정확도를 측정하여, 실데이터로 훈련된 기준 모델과 비교 평가한다.

실험 결과

연구 질문

• RQ1 최신 GAN 기술인 BigGAN과 같은 상태기반 GAN으로 생성된 유사 이미지만으로 딥 이미지 분류기가 경쟁적인 성능을 달성할 수 있는가?
• RQ2 무작위로 샘플링된 생성 이미지로 훈련했을 때 실제 ImageNet 데이터에 비해 성능 저하가 심하게 발생하는 이유는 무엇인가?
• RQ3 잠재 코드 최적화가 분류 목적에 적합한 훈련 데이터의 품질과 정보성에 얼마나 기여할 수 있는가?
• RQ4 훈련 중 연속적인 데이터 샘플링이 실제 데이터에 대한 모델 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ5 배치 정규화 적응(BNA)을 통한 테스트 시 적응이 생성된 데이터와 실제 데이터 간의 도메인 갭을 효과적으로 해소할 수 있는가?

주요 결과

• 제안된 잠재 공간 최적화(HSM) 기법은 무작위 샘플링 기준보다 1.4%에서 3.2%까지 정확도 향상을 이룬다.
• 교체 비율이 0.5인 동적 샘플링(DS)은 고정된 생성 데이터셋에 비해 정확도를 7.4%에서 8.2%까지 향상시킨다.
• 훈련 후 적용된 배치 정규화 적응(BNA)은 3.8%에서 5.8%까지 정확도를 향상시키며, 일부 경우에서는 전체 교체(r=1)보다도 뛰어난 성능을 보인다.
• 이 세 가지 기법은 상호 보완적이다: 세 가지를 모두 조합하면 기준 모델 대비 정확도가 15% 향상되어 ImageNet-10에서 상위-1 정확도 88.8%를 달성한다.
• DS의 성능 향상은 r=0.5를 초과하면 금세 감소하여 중간 수준의 교체 비율 이상에서는 수익 감소 현상이 나타남을 시사한다.
• BNA는 모든 설정에서 일관되게 정확도를 향상시키며, 특히 DS와 조합했을 때 효과가 뛰어나 경량의 후처리 적응 기법으로서의 가치를 입증한다.