[論文レビュー] Nepotistically Trained Generative-AI Models Collapse

Matyáš Boháček, Hany Farid|arXiv (Cornell University)|Nov 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文は、人気のあるテキストから画像への拡散モデルであるStable Diffusionが、自身が生成した画像のわずか3%程度を再訓練しても深刻なモデル崩壊を示すことを実証している。モデルの画像品質と多様性は急速に低下し、その後実データでの再訓練を行っても完全な回復が見られないことから、自己生成コンテンツによるデータ汚染に対する深刻な脆弱性が明らかになった。

ABSTRACT

Trained on massive amounts of human-generated content, AI-generated image synthesis is capable of reproducing semantically coherent images that match the visual appearance of its training data. We show that when retrained on even small amounts of their own creation, these generative-AI models produce highly distorted images. We also show that this distortion extends beyond the text prompts used in retraining, and that once affected, the models struggle to fully heal even after retraining on only real images.

研究の動機と目的

• 生成AIモデルを自身の合成出力で再訓練した際の影響を調査すること、これは『モデル汚染』と呼ばれる現象である。
• 自己生成データが、Stable Diffusionのような拡散ベースのモデルにおける画像品質と多様性の恒久的劣化を引き起こすかどうかを評価すること。
• 事前に合成データで汚染されたモデルを実画像で再訓練することで『回復』できるかどうかを評価すること。
• 自己生成データの色合わせや品質の選別処理が、崩壊効果を軽減できるかどうかを検討すること。
• AIのトレーニングデータの出所とモデルの頑健性の文脈における、データ汚染の広範な影響を探ること。

提案手法

• FFHQからの実際の顔画像と自己生成顔画像を含む混合データセットを、さまざまな比率で用いてベースのStable Diffusionモデルを繰り返し再訓練した。
• 各イタレーションで固定ステップ数を設定し、混合データのバッチごとにモデルを更新する反復的再訓練を実施した。
• 生成画像の色分布を実画像と一致させるために、YCbCr空間におけるヒストグラムマッチングを適用し、色の差異による誤差を低減した。
• 単一画像FIDスコアを用いて低品質の生成画像を特定し、それらを高品質な合成サンプルに置き換えた後、再訓練を実施した。
• 画像品質と意味的整合性を測定するために、Fréchet Inception Distance (FID) と CLIP スコアを用いてモデルのパフォーマンスを評価した。
• 画像品質と色分布の影響を隔離するために、選別済みデータセットを用いた制御実験を実施した。

Figure 3: Shown is the Fréchet inception distance (FID) and contrastive language-image pre-training score (CLIP) as a function of the number of retraining iterations and the composition of the retraining dataset ranging from $100\%$ SD-generated faces and $0\%$ real faces to $0\%$ SD-generated and $

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionを、自身が生成した画像のわずか一部（3%程度）で再訓練した場合、画像品質と多様性はどのように変化するか？
• RQ2 実画像での再訓練のみを実施しても、モデル崩壊の兆候が持続するか。これは、恒久的損傷を示唆するか？
• RQ3 色合わせや品質の選別といった前処理技術が、モデル崩壊の発生を防げたり遅らせたりできるか？
• RQ4 汚染効果は、再訓練時に使用された特定のテキストプロンプトを超えて拡大するか？
• RQ5 この崩壊現象は、異なる生成AIモデルやトレーニングデータの組み合わせに対しても一般化可能か？

主な発見

• Stable Diffusionは、自身が生成した画像のわずか3%を再訓練データに含めるだけで、5回目の再訓練イタレーションで画像品質が著しく低下するという急速なモデル崩壊を示した。
• 実画像のみで5回の追加再訓練を行っても、モデルは回復に失敗し、持続的な劣化と限られた回復能力を示した。
• 全汚染率においてFIDスコアが上昇し、CLIPスコアが低下した。特に100%自己生成データの場合、最も深刻な劣化が観察された。
• 色合わせや高品質な選別済み再訓練データを用いた制御実験でも、同様の速度でモデル崩壊が発生したため、色や品質の差が根本的原因ではないことが示された。
• 汚染効果は元の再訓練プロンプトを越えて拡大し、関連のないテキストプロンプトに対してもモデル出力に影響を及えた。これは、広範な分布シフトを示唆する。
• 最初の再訓練イタレーションでは画像品質がわずかに向上するが、その後一貫して劣化が続くため、崩壊の前段階として一時的な最適化が観察された。