[논문 리뷰] On the Limitation of Diffusion Models for Synthesizing Training Datasets

Shin’ya Yamaguchi, Takuma Fukuda|arXiv (Cornell University)|2023. 11. 22.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 최신의 확산 모델이 높은 품질의 합성 샘플을 생성하지만, 실제 훈련 데이터셋을 복제하지 못하는 이유를 조사한다. 제어된 역확산 단계를 통해 진짜 이미지를 재구성함으로써, 저자들은 합성 샘플이 점점 데이터 분포의 모드 근처로 집중됨을 보여주며, 이로 인해 외곽에 위치한 고엔트로피 특징이 손실되어 분류기 성능이 저하됨을 밝혀낸다.

ABSTRACT

Synthetic samples from diffusion models are promising for leveraging in training discriminative models as replications of real training datasets. However, we found that the synthetic datasets degrade classification performance over real datasets even when using state-of-the-art diffusion models. This means that modern diffusion models do not perfectly represent the data distribution for the purpose of replicating datasets for training discriminative tasks. This paper investigates the gap between synthetic and real samples by analyzing the synthetic samples reconstructed from real samples through the diffusion and reverse process. By varying the time steps starting the reverse process in the reconstruction, we can control the trade-off between the information in the original real data and the information added by diffusion models. Through assessing the reconstructed samples and trained models, we found that the synthetic data are concentrated in modes of the training data distribution as the reverse step increases, and thus, they are difficult to cover the outer edges of the distribution. Our findings imply that modern diffusion models are insufficient to replicate training data distribution perfectly, and there is room for the improvement of generative modeling in the replication of training datasets.

연구 동기 및 목표

• 확산 모델이 생성한 합성 데이터로만 훈련하는 분류기의 성능 저하를 조사하기 위해.
• 실제 데이터셋과 합성 데이터셋 간의 데이터 분포 커버리지 격차의 근본 원인을 규명하기 위해.
• 확산 모델의 역노이즈 과정이 샘플 품질과 분류기 일반화에 미치는 영향을 분석하기 위해.
• 합성 샘플이 특징 공간에서 실제 데이터의 구조적 및 의미적 특성을 얼마나 유지하는지 평가하기 위해.
• 후속 분류 작업에서 데이터셋 복제를 위한 생성 모델링 향상에 통찰을 제공하기 위해.

제안 방법

• 사전 정의된 노이즈 단계까지 확산 과정을 적용한 후, 역노이징 과정을 통해 진짜 이미지를 재구성하는 방식.
• 실제와 합성 정보 간의 트레이드오프를 조절하기 위해 시작 시간 단계(역단계)를 다양하게 조절하는 방식.
• 다양한 역단계를 가진 재구성된 합성 데이터셋으로 분류기를 훈련시어 성능 저하를 평가하는 방식.
• 특징 시각화(PCA)와 주목도 맵(GradCAM)을 사용해 분류기 특징 공간에서의 합성 샘플의 분포 및 행동을 분석하는 방식.
• 분류기의 출력 엔트로피를 측정하여 합성 샘플의 난이도와 대표성을 평가하는 방식.
• 역과정과 점수 기반 가능도 최대화 간의 관계를 분석하여, 각 역단계가 가능도가 높은(모드에 가까운) 영역으로 샘플을 이동시킴을 보여주는 방식.

실험 결과

연구 질문

• RQ1 확산 모델에서 생성한 합성 데이터로만 훈련된 분류기가 실제 데이터로 훈련된 분류기보다 성능이 열 劣하는 이유는 무엇인가?
• RQ2 확산 모델의 역노이징 과정이 특징 공간에서 합성 샘플의 분포에 어떤 영향을 미치는가?
• RQ3 합성 샘플이 실제 훈련 데이터의 구조적 및 의미적 다양성을 어느 정도 유지하는가?
• RQ4 역과정이 데이터 분포의 모드로 샘플을 체계적으로 편향시키는가?
• RQ5 역과정을 수정하여 데이터 분포의 외곽 부분을 더 잘 커버할 수 있는가?

주요 결과

• 최신의 확산 모델이 생성한 합성 샘플은 시각적 품질 측면에서 실제 샘플과 거의 구분되지 않는다.
• 역단계가 클수록 분류기 성능이 저하됨을 확인하여, 더 많은 합성 정보가 포함될수록 일반화 성능이 악화됨을 시사한다.
• 분류기의 출력 엔트로피가 낮아져 실제 샘플보다 합성 샘플이 더 쉽게 분류됨을 확인하였다.
• 특징 시각화 결과, 합성 샘플이 실제 데이터 분포의 모드 근처로 집중되어 있으며, 외곽 부분은 커버하지 못함을 확인하였다.
• 역노이징 과정이 가능도가 높은 영역으로 샘플을 체계적으로 이동시켜, 집중 현상을 설명할 수 있음이 밝혀졌다.
• 분류기의 주목도 맵은 실제 및 합성 샘플 간에 일관되며, 학습된 표현에서 구조적 왜곡이 없음을 시사한다.