[論文レビュー] Towards Understanding the Interplay of Generative Artificial Intelligence and the Internet

Gonzalo Martínez, Lauren Watson+4 more|arXiv (Cornell University)|Jun 8, 2023

Computational Physics and Python Applications被引用数 9

ひとこと要約

要約: この論文は、過去世代のAI生成コンテンツが次の拡散モデルを訓練する最悪ケースのフィードバックループを分析し、データセット全体で忠実度と多様性の劣化の可能性を示す。

ABSTRACT

The rapid adoption of generative Artificial Intelligence (AI) tools that can generate realistic images or text, such as DALL-E, MidJourney, or ChatGPT, have put the societal impacts of these technologies at the center of public debate. These tools are possible due to the massive amount of data (text and images) that is publicly available through the Internet. At the same time, these generative AI tools become content creators that are already contributing to the data that is available to train future models. Therefore, future versions of generative AI tools will be trained with a mix of human-created and AI-generated content, causing a potential feedback loop between generative AI and public data repositories. This interaction raises many questions: how will future versions of generative AI tools behave when trained on a mixture of real and AI generated data? Will they evolve and improve with the new data sets or on the contrary will they degrade? Will evolution introduce biases or reduce diversity in subsequent generations of generative AI tools? What are the societal implications of the possible degradation of these models? Can we mitigate the effects of this feedback loop? In this document, we explore the effect of this interaction and report some initial results using simple diffusion models trained with various image datasets. Our results show that the quality and diversity of the generated images can degrade over time suggesting that incorporating AI-created data can have undesired effects on future versions of generative models.

研究の動機と目的

• AI生成データがインターネットデータエコシステムを介して将来の生成モデルに与える影響について動機づけ・形式化する。
• Generative AIとトレーニングデータ間のフィードバックループを通じて、潜在する劣化、偏りの増幅、そして多様性の喪失を探る。
• 最悪ケースの相互作用モデルの下で、複数の画像データセットにわたる単純な拡散モデルを用いて初期的な実証的洞察を提供する。
• より複雑な相互作用モデルと広範なデータセットの基礎を築く。

提案手法

• 画像生成のための拡散モデルと関連評価指標をレビューする。
• 前のバージョンが生成したデータで各モデルバージョンを訓練する最悪ケースの相互作用モデルを提案する。
• MNIST、Oxford Flowers、Caltech-UCSD Birdsデータセットに対して、拡散モデル（拡散隠れ型と分類器なしガイド付きの2つのバリアント）を適用する。
• 小画像（分類器ベース）の指標とInceptionベースの指標（FID、Precision、Density、Recall、Coverage）を用いて忠実度と多様性を評価する。
• 9つの世代にわたって実験を行い、時間経過に伴う画像品質と多様性の傾向を観察する。

実験結果

リサーチクエスチョン

• RQ1 自己の以前のバージョンが生成したデータで訓練された場合、生成モデルの忠実度と多様性はどうなるか？
• RQ2 AI生成データは、異なる難易度のデータセットに対して画像品質の劣化、安定化、崩壊のいずれを引き起こすか？
• RQ3 データセットの複雑さとガイダンス戦略は、フィードバックループにおける生成内容の進化にどのような影響を与えるか？

主な発見

• AI生成データがトレーニングを支配する場合、特定のデータセットで忠実度と多様性の劣化が時間とともに生じ得る。
• ガイダンス強度は進化に強く影響する：高いガイダンスはシャープな数値表現を保つ一方で多様性を低下させる；非常に低いガイダンスは劣化と認識可能な構造の喪失を招く。
• 複雑なカラー画像データセット（花、鳥）ではノーガイダンスシナリオで進行的な劣化と最終的な崩壊が見られ、FIDなどの指標が世代とともに上昇する。
• いくつかのデータセットでは初期の劣化のあと安定化が見られ、フィードバックループにおけるデータセット依存の動態を示唆する。