Skip to main content
QUICK REVIEW

[논문 리뷰] Is synthetic data from generative models ready for image recognition?

Ruifei He, Shuyang Sun|arXiv (Cornell University)|2022. 10. 14.
Generative Adversarial Networks and Image SynthesisComputer Science인용 수 56
한 줄 요약

이 논문은 텍스트-투-이미지 모델(GLIDE)로 생성된 합성 이미지를 제로샷, 소샷, 및 프리트레이닝 설정에서 이미지 인식을 평가하고, 언어 강화, CLIP 기반 필터링, 그리고 소프트-타깃 학습을 도입하여 성능을 높인다.

ABSTRACT

Recent text-to-image generation models have shown promising results in generating high-fidelity photo-realistic images. Though the results are astonishing to human eyes, how applicable these generated images are for recognition tasks remains under-explored. In this work, we extensively study whether and how synthetic images generated from state-of-the-art text-to-image generation models can be used for image recognition tasks, and focus on two perspectives: synthetic data for improving classification models in data-scarce settings (i.e. zero-shot and few-shot), and synthetic data for large-scale model pre-training for transfer learning. We showcase the powerfulness and shortcomings of synthetic data from existing generative models, and propose strategies for better applying synthetic data for recognition tasks. Code: https://github.com/CVMI-Lab/SyntheticData.

연구 동기 및 목표

  • 최신 텍스트-투-이미지 모델에서 생성된 합성 데이터가 제로샷 및 소샷 이미지 인식을 개선할 수 있는지 평가한다.
  • 대규모 모델 프리트레이닝 및 전이 학습에 대한 합성 데이터의 유용성을 조사한다.
  • 인식 작업을 위한 다양성 향상, 노이즈 감소 및 생성 방향 제시 전략을 제안한다.

제안 방법

  • GLIDE를 텍스트-투-이미지 생성기로 사용하여 하류 작업에 대한 라벨이 있는 데이터를 합성한다.
  • 언어 강화(LE)를 사용하여 T5 기반 모델로 프롬프트를 다양화한다.
  • CLIP 기반 필터링(CF)을 적용하여 품질이 낮은 합성 샘플을 제거한다.
  • 라벨 노이즈 완화를 위해 소프트 타깃 교차 엔트로피(SCE)를 실험한다.
  • 사전 학습된 인코더 공간을 보존하기 위해 분류기 가중치만 조정한다.
  • CLIP 백본을 사용하여 제로샷, 소샷 및 프리트레이닝 패러다임을 비교한다.

실험 결과

연구 질문

  • RQ1텍스트-투-이미지 모델에서 생성된 합성 데이터가 다양한 데이터셋에서 제로샷 이미지 인식을 개선할 수 있는가?
  • RQ2합성 데이터가 소샷 학습을 향상시키고 새로운 최첨단 결과를 달성할 수 있는가, 그리고 이는 실제 데이터 가용성에 따라 어떻게 달라지는가?
  • RQ3합성 데이터가 대규모 프리트레이닝 및 전이 학습에 적합한가, 그리고 레이블 공간과 백본의 선택이 결과에 어떻게 영향을 미치는가?
  • RQ4다양성(LE)과 신뢰성(CF, SCE) 전략이 합성 데이터의 성능에 어떤 영향을 미치는가?

주요 결과

  • 제로샷 설정에서 합성 데이터는 평균 Top-1 증가율 4.31%(CLIP-RN50) 및 EuroSAT에서 최대 17.86%를 달성한다.
  • 언어 강화 프롬프트(LE)는 다양성을 높이고 일반적으로 제로샷 정확도를 향상시키며, 특히 CLIP 필터링(CF)과 소프트 타깃 교차 엔트로피(SCE)와 함께 사용할 때 그렇다.
  • 소샷 설정에서 합성 데이터는 뚜렷한 이점을 제공하고 새로운 최첨단 결과를 달성할 수 있으며, 실제 데이터가 증가하면 이점은 감소하고 실제 데이터가 생성 방향을 안내할 때 결과가 더욱 개선된다.
  • 프리트레이닝의 경우 합성 데이터가 ImageNet-1K 프리트레이닝과 동등하거나 우수할 수 있으며, 특히 ViT 백본에서 그렇고 다운스트림 레이블 공간(IN-2K)이 더 큰 경우 이점이 커진다.
  • 단계적(phase-wise) 대비 혼합(mix) 학습은 소샷 작업에서 더 좋은 성능을 보이고, 배치 정규화 계층의 고정은 데이터가 적은 상황에서 도움이 된다.
  • 합성 프리트레이닝은 실제 사전 학습 가중치로 초기화될 때 가장 효과적이며, 실제 데이터가 부족할 때 합성 데이터가 격차를 메울 수 있다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.