[논문 리뷰] Will Large-scale Generative Models Corrupt Future Datasets?

Ryuichiro Hataya, Han Bao외 1명|arXiv (Cornell University)|2022. 11. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 StableDiffusion를 사용해 이미넷 및 COCO 규모의 합성 데이터셋을 시뮬레이션함으로써 대규모 생성 이미지가 향후 컴퓨터 비전 데이터셋에 미치는 영향을 조사한다. 실험 결과, 생성된 이미지가 분류, 캡션 생성, 생성 작업 등 다양한 엔드 투 엔드 모델 성능을 떨어뜨리며, 고도의 오염 상태에서 이미넷에서 최대 5.9% 성능 저하가 발생함을 확인하여, 필터링되지 않은 채로 생성 모델 출력물이 데이터셋 품질과 모델의 강건성에 악영향을 줄 수 있음을 시사한다.

ABSTRACT

Recently proposed large-scale text-to-image generative models such as DALL$\cdot$E 2, Midjourney, and StableDiffusion can generate high-quality and realistic images from users' prompts. Not limited to the research community, ordinary Internet users enjoy these generative models, and consequently, a tremendous amount of generated images have been shared on the Internet. Meanwhile, today's success of deep learning in the computer vision field owes a lot to images collected from the Internet. These trends lead us to a research question: " extbf{will such generated images impact the quality of future datasets and the performance of computer vision models positively or negatively?}" This paper empirically answers this question by simulating contamination. Namely, we generate ImageNet-scale and COCO-scale datasets using a state-of-the-art generative model and evaluate models trained with "contaminated" datasets on various tasks, including image classification and image generation. Throughout experiments, we conclude that generated images negatively affect downstream performance, while the significance depends on tasks and the amount of generated images. The generated datasets and the codes for experiments will be publicly released for future research. Generated datasets and source codes are available from \url{https://github.com/moskomule/dataset-contamination}.

연구 동기 및 목표

• 인터넷에서 수집되는 향후 데이터셋이 대규모 생성 이미지에 의해 오염될 수 있는지 조사하기 위해.
• StableDiffusion에서 고해상도 생성 이미지를 사용해 이미넷과 COCO의 실제 이미지를 대체함으로써 데이터셋 오염을 시뮬레이션하기 위해.
• 다양한 비전 작업에서 오염된 데이터셋으로 훈련된 모델의 엔드 투 엔드 성능 평가하기 위해.
• 성능 저하의 근본 원인 분석 및 연구자와 모델 출판자에게 대응 전략 제안하기 위해.
• 연구의 정직성을 유지하기 위해 생성 모델에 워터마킹을 도입하고 데이터셋 정제 과정에서 필터링을 시행할 것을 주장하기 위해.

제안 방법

• 이미넷 카테고리와 COCO 캡션을 조건으로 삼아 StableDiffusion를 사용해 300만 장의 이미지를 생성하여 대규모 데이터셋 오염를 시뮬레이션하기 위해.
• 실제 이미지를 다양한 비율(20%, 40%, 80%)로 생성 이미지로 대체하여 이미넷과 COCO의 오염된 버전을 만들기 위해.
• 이미지 분류, 이미지 캡션 생성, 이미지 생성 작업을 위한 엔드 투 엔드 모델을 오염된 데이터셋에서부터 새로 훈련하기 위해.
• 표준 벤치마크를 사용해 모델 성능을 평가하기 위해: 이미넷의 상위-1 정확도, COCO 캡션의 BLEU 및 CIDEr 점수, 이미지 생성의 FID 점수.
• 대부분의 특징을 보존하는 MAE 특징에 대해 선형 프로빙을 적용하여 오염 상태에서 표현 품질을 평가하고 일반화 및 OOD 강건성 측정하기 위해.
• 외부 분포 데이터에 대한 모델 강건성 분석 및 표준 방법을 사용해 생성 이미지 탐지 가능성 평가하기 위해.

Figure 1: Schematic view of the problem. Some large-scale generative models are public, and many users are playing with them to share generated images on the Internet (top). Dataset collection heavily relies on images on the Internet, which may be contaminated by generated images (bottom). This pape

실험 결과

연구 질문

• RQ1 이미넷과 COCO가 생성된 이미지로 오염될 경우, 엔드 투 엔드 이미지 분류 성능에 어떤 영향을 미치는가?
• RQ2 생성된 이미지가 이미지 캡션 생성 및 이미지 생성 작업 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ3 생성된 이미지가 높은 시각적 정밀도와 합성 평가에서의 포괄성을 보일지라도, 왜 모델 성능이 저하되는가?
• RQ4 자기지도 학습 방법인 MAE는 오염된 데이터셋의 부정적 영향을 어느 정도 완화할 수 있는가?
• RQ5 현대의 생성 이미지는 얼마나 탐지 가능하며, 데이터셋 정제 및 모델 공정성에 어떤 영향을 미치는가?

주요 결과

• 이미넷에서 훈련 데이터의 80%가 생성 이미지로 대체되었을 경우, 이미지 분류 정확도가 42.5%로 떨어졌으며, 기준값 대비 1.4% 감소하였다.
• 이미지 생성 작업에서 성능 저하가 가장 심각했으며, 80%의 생성 이미지로 훈련했을 경우 FID 점수가 20.5점 상승하였다.
• MAE 특징에 대한 선형 프로빙 결과, 자기지도 학습 기반 표현 학습이 오염 영향을 부분적으로 완화할 수 있었으며, 손상된 특징에서도 높은 정확도를 유지하였다.
• 오염된 데이터로 훈련된 모델은 외부 분포 입력에 대해 강건성이 떨어지는 것으로 나타나 일반화 능력이 손상된 것으로 나타났다.
• 간단한 탐지 방법은 최신 모델인 StableDiffusion에서 생성된 이미지를 식별하지 못했으며, 이는 고급 탐지 기술이 필요함을 시사한다.
• 연구 결과, 생성 모델가 실제 데이터보다 더 적은 데이터 분포 모드를 포착하고 있음을 발견하여, 높은 시각적 품질에도 불구하고 성능 저하가 발생하는 원인이 됨을 밝혔다.

Figure 2: Randomly selected examples from generated datasets, namely, SD-ImageNet (left) and SD-COCO (right). Images are at a single glance high quality and fidelity to prompts, i.e . , category names and captions, while details are unnatural, e.g . , a two-nose elephant.