[논문 리뷰] Towards Understanding the Interplay of Generative Artificial Intelligence and the Internet

Gonzalo Martínez, Lauren Watson외 4명|arXiv (Cornell University)|2023. 06. 08.

Computational Physics and Python Applications인용 수 9

한 줄 요약

이 논문은 이전 세대의 AI 생성 콘텐츠가 다음 확산 모델을 훈련시키는 최악의 피드백 루프를 분석하여 데이터 세트 간 충실도와 다양성의 악화를 초래할 가능성을 보여준다.

ABSTRACT

The rapid adoption of generative Artificial Intelligence (AI) tools that can generate realistic images or text, such as DALL-E, MidJourney, or ChatGPT, have put the societal impacts of these technologies at the center of public debate. These tools are possible due to the massive amount of data (text and images) that is publicly available through the Internet. At the same time, these generative AI tools become content creators that are already contributing to the data that is available to train future models. Therefore, future versions of generative AI tools will be trained with a mix of human-created and AI-generated content, causing a potential feedback loop between generative AI and public data repositories. This interaction raises many questions: how will future versions of generative AI tools behave when trained on a mixture of real and AI generated data? Will they evolve and improve with the new data sets or on the contrary will they degrade? Will evolution introduce biases or reduce diversity in subsequent generations of generative AI tools? What are the societal implications of the possible degradation of these models? Can we mitigate the effects of this feedback loop? In this document, we explore the effect of this interaction and report some initial results using simple diffusion models trained with various image datasets. Our results show that the quality and diversity of the generated images can degrade over time suggesting that incorporating AI-created data can have undesired effects on future versions of generative models.

연구 동기 및 목표

• 인터넷 데이터 생태계를 통해 AI가 생성한 데이터가 미래의 생성 모델에 어떤 영향을 미치는지에 대한 동기 부여와 형식화된 질문을 제시한다.
• 생성형 AI와 학습 데이터 사이의 피드백 루프를 통해 잠재적 악화, 편향 증폭, 다양성 손실을 탐구한다.
• 최악의 상호 작용 모델 하에서 간단한 확산 모델을 사용하여 여러 이미지 데이터 세트에 걸친 초기 실증적 통찰을 제공한다.
• 보다 복잡한 상호 작용 모델과 더 넓은 데이터 세트에 대한 토대를 마련한다.

제안 방법

• 이미지 생성을 위한 확산 모델과 관련 평가 지표를 검토한다.
• 이전 버전이 생성한 데이터로 학습된 각 모델 버전이 존재하는 최악의 상호 작용 모델을 제안한다.
• 확산 모델(두 가지 변형: diffusion implicit 및 classifier-free guided)을 MNIST, Oxford Flowers, Caltech-UCSD Birds 데이터 세트에 적용한다.
• 작은 이미지(분류기 기반) 지표와 Inception 기반 지표(FID, precision, density, recall, coverage)를 사용하여 충실도와 다양성을 평가한다.
• 9세대에 걸친 실험을 통해 시간에 따른 이미지 품질과 다양성의 경향을 관찰한다.

실험 결과

연구 질문

• RQ1 자신의 이전 버전에 의해 생성된 데이터로 학습될 때 생성 모델의 충실도와 다양성은 어떻게 바뀌는가?
• RQ2 AI가 생성한 데이터가 서로 다른 복잡도의 데이터 세트에서 이미지 품질의 악화, 안정화, 또는 붕괴를 초래하는가?
• RQ3 데이터 세트의 복잡성과 가이드 전략이 피드백 루프에서 생성 콘텐츠의 진화에 어떤 영향을 미치는가?

주요 결과

• 일부 데이터 세트의 경우 AI 생성 데이터가 학습을 지배할 때 충실도와 다양성의 악화가 발생할 수 있다.
• 가이드 강도는 진화에 큰 영향을 미친다: 높은 가이드는 선명한 숫자를 보존하지만 다양성을 감소시키고, 매우 낮은 가이드는 악화와 인식 가능한 구조의 손실로 이어진다.
• 복잡한 컬러 이미지 데이터 세트(꽃과 새)에서 무가이드(find-no-guidance) 시나리오는 점진적 악화 및 궁극적 붕괴로 이어지며, FID와 같은 지표가 세대에 걸쳐 증가한다.
• 일부 데이터 세트는 초기 악화 후 안정화가 나타나 피드백 루프의 데이터 세트 의존적 역학을 시사한다.