[논문 리뷰] Training on Thin Air: Improve Image Classification with Generated Data

Yongchao Zhou, Hshmat Sahak외 1명|arXiv (Cornell University)|2023. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 실사 이미지를 잠재 공간으로 역행시켜 노이즈가 섞인 잠재 벡터에 조건을 주는 방식으로 Stable Diffusion를 활용하여 고품질이고 다양한 훈련 데이터를 생성하는 Diffusion Inversion를 제안한다. 이 방법은 기준선 대비 샘플 복잡도 2–3배 향상 및 샘플링 속도 6.5배 향상 달성하여 프롬프트 기반 생성 및 KNN 검색 방식을 초월하며, 분포 이탈이 심한 다양한 데이터셋에서도 뛰어난 성능을 보인다.

ABSTRACT

Acquiring high-quality data for training discriminative models is a crucial yet challenging aspect of building effective predictive systems. In this paper, we present Diffusion Inversion, a simple yet effective method that leverages the pre-trained generative model, Stable Diffusion, to generate diverse, high-quality training data for image classification. Our approach captures the original data distribution and ensures data coverage by inverting images to the latent space of Stable Diffusion, and generates diverse novel training images by conditioning the generative model on noisy versions of these vectors. We identify three key components that allow our generated images to successfully supplant the original dataset, leading to a 2-3x enhancement in sample complexity and a 6.5x decrease in sampling time. Moreover, our approach consistently outperforms generic prompt-based steering methods and KNN retrieval baseline across a wide range of datasets. Additionally, we demonstrate the compatibility of our approach with widely-used data augmentation techniques, as well as the reliability of the generated data in supporting various neural architectures and enhancing few-shot learning.

연구 동기 및 목표

• 데이터가 부족하거나 전문 분야에서 고품질이고 다양한 훈련 데이터 확보의 과제를 해결하기 위해.
• 생성된 샘플의 분포 적합성과 데이터 커버리지 확보를 통해 실사 데이터와 합성 데이터 간의 성능 격차를 해소하기 위해.
• 기본 딥러닝 파ip라인과 신경망 아키텍처와 호환되는 확장성 있고 효율적인 데이터 증강 방법을 개발하기 위해.
• 적절한 조건 설정과 샘플링 전략을 적용할 경우 잠재 역행을 통한 합성 데이터가 실사 데이터를 능가할 수 있음을 입증하기 위해.

제안 방법

• 실사 훈련 이미지를 텍스트 인코더의 출력을 활용해 Stable Diffusion의 잠재 공간으로 역행시켜 의미적 특성과 분포 특성을 유지한다.
• 역행된 잠재 벡터의 노이즈가 섞인 버전에 조건을 주어 의미적으로 일관되면서도 다양한 새로운 훈련 이미지를 생성한다.
• 직접 저해상도(128×128) 이미지를 생성하도록 조건 벡터를 학습시어 고해상도 생성 후 다운샘플링하는 것보다 샘플링 시간을 6.5배 감소시킨다.
• 다양한 강도(α)로 두 개의 역행 잠재 표현 간의 잠재 보간을 통해 중간 단계의 다양한 이미지 변형을 생성한다.
• 생성 과정 중에 잠재 벡터에 가우시안 노이즈를 도입하여 다양성을 향상시키며, 확장된 샘플링에 최적의 노이즈 강도 λ=0.2를 확보한다.
• 품질, 다양성, 성능의 균형을 맞추기 위해 추론 단계(100), 노이즈 강도, 보간 강도 등의 하이퍼파라미터를 평가하고 조정한다.

실험 결과

연구 질문

• RQ1 Stable Diffusion와 같은 사전 학습된 생성 모델을 사용해 실사 데이터 성능을 충족하거나 초월하는 합성 데이터를 생성할 수 있는가?
• RQ2 실사 데이터보다 뛰어난 샘플 복잡도와 일반화 성능를 달성하기 위해 합성 데이터에 필수적인 구성 요소는 무엇인가?
• RQ3 노이즈 조건을 부여한 잠재 역행 방식은 프롬프트 기반 또는 KNN 기반 데이터 생성에 비해 분포 적합성과 모델 정확도 측면에서 어떻게 비교되는가?
• RQ4 생성된 데이터는 분포 이탈이 심한 전문 분야에서 소수의 샘플 학습 및 일반화 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• Diffusion Inversion는 샘플 복잡도에서 2–3배 향상되어, 실사 데이터로 훈련된 모델 대비 더 적은 샘플로도 높은 정확도를 달성한다.
• 고해상도 생성 후 다운샘플링하는 방식이 아닌 저해상도 이미지를 직접 생성함으로써 샘플링 시간을 6.5배 감소시켜 효율성 향상을 확보했다.
• 모든 평가된 데이터셋에서 일반적인 프롬프트 기반 조정 방식과 LAION-5B에서의 KNN 검색 방식을 뛰어넘어 합성 데이터가 우월한 성능을 보였다. 특히 분포 이탈이 큰 의료 영상 데이터셋에서도 마찬가지였다.
• 최적의 성능는 노이즈 강도 λ=0.2와 보간 강도 α≈0.1에서 달성되었으며, FID, 정밀도, 재현율, 커버리지 지표로 측정된 다양성과 품질의 균형이 잘 맞아떨어졌다.
• 호환 가능한 잠재 표현 간의 잠재 보간은 모든 α 값에서 현실적이면서도 새로운 이미지를 생성하지만, 높은 α 값에서는 의미적 일관성 상실로 인해 성능이 급격히 떨어진다.
• 기본 데이터 증강 기법과 호환되며, ResNet18를 포함한 다양한 신경망 아키텍처에서 소수의 샘플 학습 능력을 향상시킨다.