[論文レビュー] Evaluating a Synthetic Image Dataset Generated with Stable Diffusion

Andreas Stöckl|arXiv (Cornell University)|Nov 3, 2022

Image Retrieval and Classification Techniques被引用数 9

ひとこと要約

本稿では、WordNetの概念をテキストプロンプトとして用い、Stable Diffusionを用いて生成された合成画像データセットを評価し、画像の品質と分類性能を検証している。ビジョントランスフォーマーを用いた分析の結果、73%の概念が少なくとも1枚の正しく分類された画像を生成したが、特に特異な動物については性能が著しく低下しており、生成AIの広範な能力と、細分化された視覚的正確性における限界が浮き彫りになった。

ABSTRACT

We generate synthetic images with the "Stable Diffusion" image generation model using the Wordnet taxonomy and the definitions of concepts it contains. This synthetic image database can be used as training data for data augmentation in machine learning applications, and it is used to investigate the capabilities of the Stable Diffusion model. Analyses show that Stable Diffusion can produce correct images for a large number of concepts, but also a large variety of different representations. The results show differences depending on the test concepts considered and problems with very specific concepts. These evaluations were performed using a vision transformer model for image classification.

研究の動機と目的

• WordNetに由来する分類体系に基づく体系的で体系的な手法を用いて、Stable Diffusionが生成する合成画像の品質と表現的忠実度を評価すること。
• 事前学習済みビジョントランスフォーマーが、WordNetで定義された概念から派生する合成画像をどれだけ正しく分類できるかを評価すること。
• 特に概念の特異性や視覚的複雑さに注目し、異なる意味的カテゴリー間での分類性能のパターンを同定すること。
• 教師あり学習におけるデータ拡張やモデル評価に、このような合成データセットがどれほど有用であるかを検討すること。
• Stable Diffusionのコンテンツフィルタの信頼性を検証し、不適切または誤ったコンテンツの生成に失敗する事例を特定すること。

提案手法

• WordNetの概念の定義に基づくテキストプロンプトを用い、Stable Diffusion 1.4モデルで合成画像を生成した。
• WordNetの階層的構造を活用してデータセットを整理し、意味的カテゴリーにわたる体系的評価を可能にした。
• 実画像ImageNetデータをベンチマークとして用い、事前学習済みビジョントランスフォーマー（vit_h_14）を用いて画像分類を実施し、トップ1およびトップ5の正確度を測定した。
• PCAとt-SNEを用いて次元削減を行い、FastTextの単語埋め込みを用いて2次元空間に意味的クラスタを可視化した。
• 複数語のクラス名に対応するため、個々の語のベクトルを合算することで、希少語や複合語のカバレッジを確保した（FastText埋め込み：300次元）。
• WordNetのスーパークラスおよびサブクラスごとに分類性能を評価し、正確度、画像の多様性、失敗事例に注目した。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionが、WordNetの多様な概念に対して、ビジョントランスフォーマーが正しく分類できる画像をどれほど生成できるか。
• RQ2 一般概念と極めて特異な概念の間で、分類正確度にどのような差が生じるか。
• RQ3 意味的階層構造と概念の特異性が、モデルが認識可能な画像を生成する能力にどのように影響するか。
• RQ4 1つの概念あたりの画像多様性は分類性能にどのように影響するか。これはデータ拡張にどのような示唆をもたらすか。
• RQ5 Stable Diffusionのコンテンツフィルタは、不適切または誤った表現を生成する場面で、どれほど失敗するか。

主な発見

• テストした1180の概念のうち861（73%）が、ビジョントランスフォーマーによって少なくとも1枚の正しく分類された画像を生成した。これは、広範な表現的能力を示している。
• 「建物」スーパークラスでは高い認識率を示し、「レストラン」「修道院」「温室」の画像は100%正しく分類された。
• 「動物」スーパークラスでは平均未満の性能を示し、162の動物クラスが正しく分類された画像を生成しなかった。これは、特異性の高さと階層的深さが主な要因である。
• 「黒い足のフェレット」や「リーフホッパー」のような特定の動物は、頻繁に誤分類されたり、視覚的に不正確な画像が生成されたりしており、細分化された視覚的生成における限界が明らかになった。
• t-SNEとPCAを用いた可視化により、正しく分類された画像は埋め込み空間に意味的に整合したクラスタを形成していることがわかったが、特に「動物」グループでは、低正確度クラスを示す小さな赤い点が散らばっていることが確認された。
• 本研究では、プロンプト制約にもかかわらず、不適切または誤ったコンテンツを含む画像が生成されるケースが確認され、Stable Diffusionのコンテンツフィルタの失敗が明らかになった。