[論文レビュー] DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models

Zijie J. Wang, Evan Montoya+4 more|arXiv (Cornell University)|Oct 26, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本稿では、Stable Diffusionから生成された1400万件のテキスト-to-画像生成結果を含む6.5TBのDiffusionDBというデータセットを紹介する。このデータセットには180万件のユニークなプロンプトと、完全なハイパーパrameterメタデータが含まれており、プロンプト工学、モデル挙動、悪用パターンの系統的分析を可能にする。ハイパーパrameterに起因する誤差や、誤情報生成の証拠が明らかになった。本データセットはCC0ライセンスで公開され、幅広い研究利用を想定している。

ABSTRACT

With recent advancements in diffusion models, users can generate high-quality images by writing text prompts in natural language. However, generating images with desired details requires proper prompts, and it is often unclear how a model reacts to different prompts or what the best prompts are. To help researchers tackle these critical challenges, we introduce DiffusionDB, the first large-scale text-to-image prompt dataset totaling 6.5TB, containing 14 million images generated by Stable Diffusion, 1.8 million unique prompts, and hyperparameters specified by real users. We analyze the syntactic and semantic characteristics of prompts. We pinpoint specific hyperparameter values and prompt styles that can lead to model errors and present evidence of potentially harmful model usage, such as the generation of misinformation. The unprecedented scale and diversity of this human-actuated dataset provide exciting research opportunities in understanding the interplay between prompts and generative models, detecting deepfakes, and designing human-AI interaction tools to help users more easily use these models. DiffusionDB is publicly available at: https://poloclub.github.io/diffusiondb.

研究の動機と目的

• テキスト-to-画像拡散モデルにおける効果的なプロンプト工学の課題に対処すること。ユーザーは試行錯誤に頼らざるを得ず、体系的なガイダンスが不足している。
• プロンプト、ハイパーパrameter、画像出力の相互作用を捉えた大規模かつ現実のユーザーによるデータセットを提供し、モデル挙動の実証的分析を支援すること。
• モデルの誤動作や有害な出力（誤情報や非自発的コンテンツを含む）を引き起こすプロンプトのパターンやハイパーパrameter設定を同定すること。
• プロンプト最適化、モデルの解釈可能性、ディープフェイク検出に関する研究を促進するため、NLP、コンピュータビジョン、HCI分野における新たな研究分野を切り開くこと。
• 現実世界のデータを活用して、テキスト-to-画像生成における人間とAIのインタラクションを支援する使いやすいツールの開発を支援すること。

提案手法

• 公式Stable Diffusion Discordサーバーからユーザーが生成した画像、プロンプト、ハイパーパラメータをウェブスクレイピングにより収集。チャットログとメディアをDiscordChatExporterを用いて抽出。
• 各画像について、シード、ステップ数、分類子フリー・ガイドランス（CFG）スケール、サンプリング手法、画像解像度、作成日時、Discordユーザーのハッシュ値を含むメタデータを収集。
• 最先端のNSFW検出モデルを適用し、各画像およびプロンプトの安全性スコアを計算。有害コンテンツのフィルタリングおよびレポートを可能にする。
• Discordユーザーネームのハッシュ化と個人情報の削除により、ユーザー識別子の匿名化を実施。プライバシー保護を徹底。
• 効率的なアクセスと分析を可能にするために、プロンプト、ハイパーパラメータ、画像ファイルの階層的かつ柔軟なファイル構造を設計。
• CC0 1.0ライセンスでデータセットを公開。GitHub上でデータ収集および処理パイプラインのオープンソース化を実施。再現性とコミュニティによる拡張を支援。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionで使用される現実世界のテキスト-to-画像プロンプトにおける、最も一般的な文法的および意味的パターンは何か？
• RQ2 CFGスケールやサンプリングステップ数などのハイパーパラメータ設定のうち、モデルの誤動作や画像品質の低下と強く関連しているのはどれか？
• RQ3 モデルの組み込みセーフティメカニズムによってフィルタリングされた後でも、特定のプロンプトスタイルが有害またはNSFWコンテンツの生成と相関しているか？
• RQ4 Stable Diffusionで使用されるプロンプトパターンは、DALL-E 2 や Midjourney などの他のテキスト-to-画像モデルにも一般化できる程度に適用可能か？
• RQ5 このデータセットを用いて、プロンプト最適化、画像生成の整合性、ディープフェイク検出のツールのトレーニングや評価が可能か？

主な発見

• DiffusionDBには、1400万枚の画像が含まれており、180万件のユニークなプロンプトと、シード、ステップ数、CFGスケール、サンプラー、画像サイズを含む完全なハイパーパラメータメタデータが付随している。
• 本データセットは、『ArtStationでトレンド』や『Unreal Engine』を含む特定のプロンプトスタイルが、画像の詳細性と品質の向上と強く相関していることを明らかにした。
• 特に高いCFGスケールと低いステップ数の組み合わせは、モデルのアーティファクトや生成エラーと頻繁に関連していた。
• 組み込みNSFWフィルタにもかかわらず、1400万枚の画像に有害とされなかったコンテンツが含まれており、自動セーフティメカニズムのギャップが示唆された。
• 誤情報生成や非自発的コンテンツの生成にプロンプトが悪用されている証拠が確認され、規制のないテキスト-to-画像生成におけるリスクが浮き彫りになった。
• 本データセットはCC0 1.0ライセンスで公開されており、研究開発を目的とした無制限の利用、共有、改変が可能である。