[논문 리뷰] Fake it till you make it: Learning transferable representations from synthetic ImageNet clones

Mert Bülent Sarıyıldız, Karteek Alahari외 2명|arXiv (Cornell University)|2022. 12. 16.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 텍스트 프롬프트를 사용해 Stable Diffusion로 생성한 합성 이미지만을 사용하여 ImageNet 분류 모델을 훈련시키는 방법을 제안한다. 최소한의 프롬프트 엔지니어링에도 불구하고, 이러한 합성 ImageNet 클론으로 훈련된 모델은 ImageNet-1K에서 70.3%의 top-5 정확도를 달성하며, 전이 학습 벤치마크에서 실제 데이터로 훈련된 모델과 유사한 성능을 보이며 강력한 일반화 능력을 입증한다. 이는 실제 이미지 모델과의 성능 격차를 좁히는 데 성공한다.

ABSTRACT

Recent image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by investigating the need for real images when training models for ImageNet classification. Provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful these are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering, ImageNet clones are able to close a large part of the gap between models produced by synthetic images and models trained with real images, for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data for transfer. Project page: https://europe.naverlabs.com/imagenet-sd/

연구 동기 및 목표

• 합성 이미지가 텍스트 프롬프트에서 유도된 이미지로 실제 이미지 대체 가능성을 검토한다.
• 다양한 벤치마크에서 합성 ImageNet 클론으로만 훈련된 모델의 일반화 성능을 평가한다.
• 모델 성능에 영향을 미치는 생성된 이미지의 의미론적 및 도메인 특화 문제를 특정하고 완화한다.
• 최소한의 클래스에 종속되지 않는 프롬프트 엔지니어링 전략이 합성 ImageNet 클론의 품질과 다양성에 크게 기여할 수 있음을 입증한다.

제안 방법

• Stable Diffusion를 사용하여 ImageNet-1K의 모든 클래스에 대해 클래스 이름을 프롬프트로 사용해 합성 이미지를 생성한다.
• 의미론적 일관성과 시각적 다양성을 향상시키기 위해 클래스에 종속되지 않는 프롬프트 수정 기법(예: 'highly detailed' 및 'inside a box')을 적용한다.
• 실제 이미지 미세조정 없이 합성 데이터셋(ImageNet-1K-SD)에서부터 ResNet-50 모델을 처음부터 훈련시킨다.
• ImageNet-1K 검증 세트, ImageNet-A, ImageNet-R, ImageNet-Sketch, ImageNet-v2 및 15개의 하류 전이 학습 데이터셋에서 모델 성능을 평가한다.
• 이미지 품질과 모델 성능에 미치는 핵심 디퓨전 하이퍼파라미터(가이던스 스케일 및 디퓨전 스텝 수)의 영향을 분석한다.
• Stable Diffusion의 훈련 분포에 맞추어 고정 해상도(512×512)를 사용하여 생성 정밀도를 유지한다.

실험 결과

연구 질문

• RQ1 텍스트 프롬프트에서 생성된 합성 이미지만으로 훈련된 모델이 실제 ImageNet 데이터로 훈련된 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 합성 ImageNet 클론은 실제 데이터 모델과 비교해 분포 이탈 및 악성 예측에 대해 어떻게 성능을 보이는가?
• RQ3 분류 작업을 위한 생성 이미지의 의미론적 정확도와 시각적 다양성을 향상시키는 데 효과적인 프롬프트 엔지니어링 전략은 무엇인가?
• RQ4 합성 이미지는 강력한 제로샷 및 소수 샘플 전이 학습 능력을 얼마나 잘 지원하는가?

주요 결과

• 합성 ImageNet 클론(ImageNet-1K-SD)으로 훈련된 모델은 ImageNet-1K에서 70.3%의 top-5 정확도를 기록하며 실제 데이터 모델과의 격차의 대부분을 해소했다.
• ImageNet-A, ImageNet-R, ImageNet-Sketch와 같은 강건성 벤치마크에서 합성 모델과 실제 데이터 모델 간의 성능 격차가 크게 줄었다.
• 15개의 다양한 전이 학습 데이터셋에서 합성 데이터로 훈련된 모델의 성능은 실제 데이터 모델과 유사했으며, 이는 강력한 일반화 능력을 시사한다.
• 'highly detailed' 및 'inside a box'와 같은 클래스에 종속되지 않는 프롬프트 수정어를 추가함으로써 생성 이미지의 시각적 품질과 의미론적 일관성이 크게 향상되었다.
• 최적의 생성 품질은 50개의 디퓨전 스텝과 가이던스 스케일 7.5에서 달성되었으며, 스텝 수를 더 늘려도 수익 감소 현상이 나타났다.
• 512×512 훈련 해상도에서의 이탈은 이미지 품질 악화로 이어졌으며, 이는 정확한 생성을 위해 해상도 일치의 중요성을 확인한다.