[논문 리뷰] Is Synthetic Data From Diffusion Models Ready for Knowledge Distillation?

Zheng Li, Yuxuan Li외 4명|arXiv (Cornell University)|2023. 05. 22.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 실제 학습 데이터가 없을 경우 최신 확산 모델로 생성된 합성 이미지를 사용하여 지식 증류를 연구한다. 공개된 확산 모델을 활용해 프록시 데이터셋을 생성하는 단순한 블랙박스 호환 방법을 제안하며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다. 놀랍게도, 낮은 품질의 이미지와 약한 교사 모델이 더 높은 성능을 내는데, 이는 도메인 분리 감소와 향상된 특징 전달 덕분이다.

ABSTRACT

Diffusion models have recently achieved astonishing performance in generating high-fidelity photo-realistic images. Given their huge success, it is still unclear whether synthetic images are applicable for knowledge distillation when real images are unavailable. In this paper, we extensively study whether and how synthetic images produced from state-of-the-art diffusion models can be used for knowledge distillation without access to real images, and obtain three key conclusions: (1) synthetic data from diffusion models can easily lead to state-of-the-art performance among existing synthesis-based distillation methods, (2) low-fidelity synthetic images are better teaching materials, and (3) relatively weak classifiers are better teachers. Code is available at https://github.com/zhengli97/DM-KD.

연구 동기 및 목표

• 최신 기술 수준의 확산 모델로 생성된 합성 이미지가 지식 증류에서 실제 데이터를 효과적으로 대체할 수 있는지 조사하는 것.
• 개인정보나 보안 제약으로 인해 실제 데이터가 이용 불가능할 경우, 오직 합성 데이터만을 사용한 증류의 성능을 평가하는 것.
• 데이터 없음 증류 환경에서 합성 데이터 생성 및 교사-학생 아키텍처 선택에 최적의 설정을 규명하는 것.
• 합성 데이터를 사용할 때 이미지 품질과 교사 모델 용량이 증류 성능에 미치는 영향을 이해하는 것.

제안 방법

• 공개된 사전 훈련된 조건부 확산 모델(예: Stable Diffusion, DiT)을 활용해 지식 증류를 위한 프록시 학습 데이터로 합성 이미지를 생성하는 것.
• 사전 훈련된 교사 모델을 사용해 합성 이미지에 대한 소프트 레이블을 생성하고, 이를 표준 증류 손실을 통해 학생 모델을 훈련하는 것.
• 확률 분포를 부드럽게 하고 지식 전달을 향상시키기 위해 증류 과정에서 온도 스케일링을 적용하는 것.
• 소프트 레이블과 함께 확산 모델의 클래스 레이블을 하드 레이블로 사용해 이들이 성능에 미치는 영향을 평가하기 위해 공동 훈련을 수행하는 것.
• 가이던스 스케일(s)과 샘플링 스텝 수(T)와 같은 확산 모델 하이퍼파라미터를 체계적으로 변화시켜 증류 성능에 미치는 영향을 평가하는 것.
• 온도, 레이블 유형(소프트 대비 하드), 교사-학생 모델 용량 격차에 대한 분석을 통해 핵심 요인을 규명하기 위한 아블레이션 스터디를 수행하는 것.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 확산 모델로 생성된 합성 이미지가 데이터 없음 환경에서 지식 증류에서 실제 데이터를 효과적으로 대체할 수 있는가?
• RQ2 합성 데이터의 더 높은 이미지 품질이 증류 성능을 향상시키는가, 아니면 낮은 품질이 더 유리한가?
• RQ3 합성 데이터를 사용할 때 더 강력한 교사 모델이 항상 더 나은 성능을 내는가, 아니면 더 약한 교사 모델이 더 뛰어난 결과를 낼 수 있는가?
• RQ4 확산 모델의 하이퍼파라미터인 가이던스 스케일과 샘플링 스텝 수가 합성 데이터의 품질과 증류에 대한 유용성에 어떤 영향을 미치는가?
• RQ5 확산 모델의 클래스 레이블에서 유도한 하드 레이블을 소프트 레이블과 함께 사용할 경우, 소프트 레이블 전용 사용 대비 증류 성능에 어떤 영향을 미치는가?

주요 결과

• ImageNet-1K, ImageNet-100, CIFAR-100, Flowers-102에서 합성 이미지가 확산 모델로부터 생성된 데이터로 데이터 없음 지식 증류에서 최신 기술 수준의 성능을 달성한다. 합성 데이터셋과 타겟 데이터셋 간 카테고리 겹침이 없을 경우에도 성능이 유지된다.
• 가장 낮은 품질의 합성 이미지—낮은 가이던스 스케일(s)과 적은 샘플링 스텝 수(T)로 생성된 것—은 더 높은 품질의 이미지보다 학생 모델의 성능을 더 높게 이끈다. 이는 후자의 경우 ImageReward 점수는 더 높지만 성능은 열 劣하다는 점에서 놀랍다.
• 합성 데이터에서 훈련할 경우 상대적으로 약한 교사 모델(예: ResNet18)이 더 강력한 모델(예: ResNet50)보다 성능이 뛰어나며, ImageNet에서 ResNet34를 훈련할 경우 3%의 정확도 향상을 관찰했다.
• 확산 모델의 클래스 레이블에서 유도한 하드 레이블을 소프트 레이블과 함께 사용한 공동 훈련은 소프트 레이블 전용 훈련 대비 성능을 떨어뜨리며, 이는 합성 데이터와 실제 데이터 사이의 도메인 분리가 있음을 시사한다.
• 증류에 최적의 온도 하이퍼파라미터는 τ = 10이며, 이는 실험 전반에서 가장 높은 성능을 낳는다.
• 사용된 합성 이미지의 수가 증가할수록 학생 모델의 성능이 향상되며, 이는 제안된 방법의 확장성(스케일러빌리티)을 보여준다.