[論文レビュー] Measuring the Success of Diffusion Models at Imitating Human Artists

Stephen Casper, Zifan Guo+6 more|arXiv (Cornell University)|Jul 8, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、Stable Diffusion などの拡散モデルが特定の人間のアーティストをどれだけ正確に模倣できるかを定量的に測定するゼロショット、CLIPベースの手法を提案する。アーティストのスタイルを模倣するようにプロンプトを提示し、その出力をCLIPで分類することで、著者らはStable Diffusionが81.0%のケースでアーティストを正しく特定できることを示しており、個々のアーティストのスタイルを模倣する能力が広範にわたることを示している。

ABSTRACT

Modern diffusion models have set the state-of-the-art in AI image generation. Their success is due, in part, to training on Internet-scale data which often includes copyrighted work. This prompts questions about the extent to which these models learn from, imitate, or copy the work of human artists. This work suggests that tying copyright liability to the capabilities of the model may be useful given the evolving ecosystem of generative models. Specifically, much of the legal analysis of copyright and generative systems focuses on the use of protected data for training. As a result, the connections between data, training, and the system are often obscured. In our approach, we consider simple image classification techniques to measure a model's ability to imitate specific artists. Specifically, we use Contrastive Language-Image Pretrained (CLIP) encoders to classify images in a zero-shot fashion. Our process first prompts a model to imitate a specific artist. Then, we test whether CLIP can be used to reclassify the artist (or the artist's work) from the imitation. If these tests match the imitation back to the original artist, this suggests the model can imitate that artist's expression. Our approach is simple and quantitative. Furthermore, it uses standard techniques and does not require additional training. We demonstrate our approach with an audit of Stable Diffusion's capacity to imitate 70 professional digital artists with copyrighted work online. When Stable Diffusion is prompted to imitate an artist from this set, we find that the artist can be identified from the imitation with an average accuracy of 81.0%. Finally, we also show that a sample of the artist's work can be matched to these imitation images with a high degree of statistical reliability. Overall, these results suggest that Stable Diffusion is broadly successful at imitating individual human artists.

研究の動機と目的

• 拡散モデルが特定の人間のアーティストをどれだけ正確に模倣できるかを評価する実用的で定量的な手法を開発すること。
• AI生成アートの著作権責任を評価する際、学習データからモデルの能力へと焦点を移すこと。
• 標準的な機械学習手法がAI模倣に関する法的主張を分析するために使用可能であることを示すこと。
• Stable Diffusion が個々のデジタルアーティストのビジュアルスタイルをどれだけ正確に再現できるかを評価すること。
• 市販のモデルと標準的手法を用いて、AI模倣の成功を再現可能かつ客観的に測定するベンチマークを提供すること。

提案手法

• Stable Diffusion v1.5 を用いて、各アーティストに対して『<アーティスト名>のアートワーク』という形式のプロンプトで10枚の画像を生成する。
• 生成画像とテキストラベル（アーティスト名とデフォルトラベルを含む）を、CLIPの画像エンコーダーとテキストエンコーダーで符号化する。
• 各生成画像を、画像埋め込みとテキスト埋め込み間のコサイン類似度を計算することで分類し、類似度が最も高いラベルを選択する。
• 各アーティストに対して分類実験を10回繰り返し、分散を低減し、平均正確度を算出する。
• 2つのベースラインと比較する：ランダムなアーティスト名（8.6%の正確度）、ランダムな推測（1.4%の正確度）。
• 実際のアーティストの作品と生成された模倣作品をCLIP埋め込みを用いて照合し、統計的有意性の検定（ボンフェローニ補正付きの順位和検定）を実施する。

Figure 1: Identifying human artists from Stable Diffusion Imitations. For each artist, we generate an imitation image from Stable Diffusion with the prompt “Artwork from $<$ artist name $>$ .” Next, we encode the image with a CLIP image encoder (Radford et al., 2021 ) . We also encode labels corresp

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusion などの拡散モデルは、個々の人間のアーティストのビジュアルスタイルをどれだけ正確に模倣できるか？
• RQ2 標準的なゼロショット画像分類技術（例：CLIP）は、AI生成画像を特定のアーティストに帰属させることができるか？
• RQ3 モデルの模倣能力は、ランダムな確率やベースラインモデルと比べてどの程度優れているか？
• RQ4 AI生成の模倣作品と実際のアーティストの作品との類似性は、統計的に有意であるか？
• RQ5 学習データに依存せずに、モデルの出力行動に注目することで、模倣の成功を独立して測定できるか？

主な発見

• Stable Diffusion は、70名のプロフェッショナルなデジタルアーティストのうち、生成画像のアーティストを平均81.0%の正確度で正しく分類した。
• 70人のアーティストのうち69人について、模倣試行の過半数で正しくアーティストを特定しており、広範かつ一貫した模倣能力を示している。
• ランダム名ベースラインでは8.6%の正確度にとどまり、ランダム推測では1.4%であったため、結果が偶然によるものではないことが確認された。
• 実作品と生成模倣作品の照合において、70人のアーティストのうち90%（63名）が統計的に有意な類似性（ボンフェローニ補正後、p < 0.05）を示した。
• LAIONデータセット内で最も頻出する250人のアーティストでテストした際も、同様に81.2%の正確度が得られ、異なるアーティストのセットに対しても結果が安定していることが確認された。
• この手法により、模倣作品がターゲットアーティストの実作品よりも他のアーティストの作品よりも類似していることが確認され、模倣の忠実度が裏付けられた。

Figure 2: Example images generated by Stable Diffusion from prompts of the form “Artwork from $<$ artist’s name $>$ ”. Using the method depicted in Figure 1 , we show that the artists used in the prompts can often be classified from these imitations of their work.