[논문 리뷰] Self-Consuming Generative Models Go MAD

Sina Alemohammad, Josue Casco-Rodriguez외 6명|arXiv (Cornell University)|2023. 07. 04.

Generative Adversarial Networks and Image Synthesis인용 수 15

한 줄 요약

이 논문은 이전 세대로부터 얻은 합성 데이터로 학습되는 자가 소모적 루프를 분석하고, 충분한 신선한 실제 데이터가 없으면 세대가 진행될수록 모델의 품질(정밀도)이나 다양성(재현율)이 저하되는 현상은 MAD로 명명된다.

ABSTRACT

Seismic advances in generative AI algorithms for imagery, text, and other data types has led to the temptation to use synthetic data to train next-generation models. Repeating this process creates an autophagous (self-consuming) loop whose properties are poorly understood. We conduct a thorough analytical and empirical analysis using state-of-the-art generative image models of three families of autophagous loops that differ in how fixed or fresh real training data is available through the generations of training and in whether the samples from previous generation models have been biased to trade off data quality versus diversity. Our primary conclusion across all scenarios is that without enough fresh real data in each generation of an autophagous loop, future generative models are doomed to have their quality (precision) or diversity (recall) progressively decrease. We term this condition Model Autophagy Disorder (MAD), making analogy to mad cow disease.

연구 동기 및 목표

• 학습 파이프라인에서 합성 데이터가 늘어나는 자가 소모적 루프에 대한 형식적 연구를 고무한다.
• 편향된 샘플링 하에서 세 가지 루프 변형(완전 합성, 합성 증강, 신선한 데이터)을 정의하고 비교한다.
• 품질(정밀도)과 다양성(재현율)을 정량화하기 위한 지표를 개발하고 세대 간 진화를 추적한다.
• 이론과 실험을 통해 충분치 않은 신선한 실제 데이터가 Model Autophagy Disorder(MAD)로 이어진다는 것을 입증한다.
• 샘플링 편향이 자가 소모적 루프에서 품질과 다양성 간의 트레이드오프에 어떠한 영향을 미치는지 강조한다.

제안 방법

• 자연: 자가 소모적 프로세스를 실제 데이터와 합성 데이터의 혼합으로 학습된 모델의 연속으로 정형화한다.
• 정확한 데이터 구성 정의와 함께 세 가지 루프 변형(완전 합성, 합성 증강, 신선한 데이터)을 도입한다.
• 합성 데이터 생성에서 품질-다양성 트레이드오프를 모델링하기 위해 보편적 샘플링 편향 매개변수 λ를 도입한다.
• 가우시안 토이 모델과 실제 생성 모델(DDPM, StyleGAN-2, WGAN, Normalizing Flows)을 사용해 루프 동작을 분석한다.
• 정밀도, 재현율, Fréchet Inception Distance(FID)를 품질과 다양성의 대리 지표로, Wasserstein 거리로 분포 변동을 측정한다.
• 다양한 루프와 편향에서 MAD 역학을 설명하기 위해 MNIST와 FFHQ 데이터셋에 대한 실증 결과를 제시한다.

실험 결과

연구 질문

• RQ1 자강 루프가 세대를 거치며 생성 모델의 수렴에 어떤 영향을 미치는가?
• RQ2 루프 유형(완전 합성, 합성 증강, 신선한 데이터)이 세대에 걸친 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 샘플링 편향(품질-다양성 트레이드오프)이 이 루프들에서 MAD 동작에 어떤 영향을 주는가?
• RQ4 신선한 실제 데이터가 저하를 방지할 수 있으며, 어떤 조건에서 성능이 안정되거나 불안정해지는가?
• RQ5 결론이 이미지 이외의 다른 모델 계열과 데이터 도메인에서도 성립하는가?

주요 결과

• 완전 합성 루프는 세대가 진행될수록 품질(정밀도)과 다양성(재현율) 모두의 손실로 이어진다.
• 샘플링 편향을 도입하면 품질은 유지되나 다양성이 희생되어 재현율 저하가 가속되고 FID가 증가한다.
• 고정된 실제 데이터를 이용한 합성 증강은 MAD를 늦출 수는 있어도 방지하지 못하며 결국 품질이나 다양성 중 하나가 저하된다.
• 각 세대에 신선한 실제 데이터 구성요소가 포함되는 신선한 데이터 루프는 세대당 충분한 실제 데이터가 있는 경우 저하를 방지할 수 있다.
• 모델 계열(DDPM, StyleGAN-2, WGAN, Normalizing Flows) 및 데이터세트(MNIST, FFHQ) 전반에서 충분한 신선한 실제 데이터가 없을 때 자가 소모적 루프는 MAD 현상을 보인다.
• 고품질 모드 쪽으로 편향된 샘플링은 합성 데이터의 아티팩트를 확대하고 세대에 걸쳐 다양성을 감소시킨다.