[論文レビュー] Not Every Image is Worth a Thousand Words: Quantifying Originality in Stable Diffusion

Adi Haviv, Shahar Sarfaty+4 more|arXiv (Cornell University)|Aug 15, 2024

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、テキストから画像への拡散モデルにおける独自性を、元の画像を再構築するために必要なテキストインバージョントークンの数を測定することで定量化する手法を提案する。少ないトークン数は、より高い熟練度と低い独自性を示す。このアプローチは、概念的独自性と相関し、独自性の高い画像は再構築に多くのトークンを要することを示しており、訓練データにアクセスせずに、モデル内部の指標として、著作権法における独自性の定義と整合するデータフリーな指標を提供する。

ABSTRACT

This work addresses the challenge of quantifying originality in text-to-image (T2I) generative diffusion models, with a focus on copyright originality. We begin by evaluating T2I models' ability to innovate and generalize through controlled experiments, revealing that stable diffusion models can effectively recreate unseen elements with sufficiently diverse training data. Then, our key insight is that concepts and combinations of image elements the model is familiar with, and saw more during training, are more concisly represented in the model's latent space. We hence propose a method that leverages textual inversion to measure the originality of an image based on the number of tokens required for its reconstruction by the model. Our approach is inspired by legal definitions of originality and aims to assess whether a model can produce original content without relying on specific prompts or having the training data of the model. We demonstrate our method using both a pre-trained stable diffusion model and a synthetic dataset, showing a correlation between the number of tokens and image originality. This work contributes to the understanding of originality in generative models and has implications for copyright infringement cases.

研究の動機と目的

• 訓練データへのアクセスが制限される状況下でも、テキストから画像への拡散モデルにおける独自性を定量化する課題に取り組むこと。
• 訓練データや特定のプロンプトにアクセスしない方法を構築し、独自性を評価すること。
• モデル生成コンテンツの評価を、創造性と著作者としての権利を重視する著作権法上の独自性基準と一致させること。
• 潜在空間におけるトークン化によるモデルの熟練度が、独自性の代理指標として機能しうることを示すこと。
• 実世界および合成応用における生成AI出力の独自性と一般的性を監査するフレームワークを提供すること。

提案手法

• モデルの潜在空間内に、画像コンテンツをコンパクトな学習可能トークンの集合にエンコードするテキストインバージョンを活用する。
• テキストインバージョンを用いて、指定された画像を再構築するために必要なトークン数を測定し、高いトークン数はより高い独自性を示す。
• 合成データで微調整された独自のモデルと、事前学習済みのStable Diffusionモデルを用い、異なる設定での手法の妥当性を検証する。
• 合成データセット（形状、色、サイズ）と実世界の画像を用いて、トークン数と画像の独自性の相関関係を評価する。
• 再構築画像と元の画像の類似度を保証するため、DreamSimアルゴリズムを適用して、トークン化プロセスの忠実性と妥当性を検証する。
• 一般的に学習データで頻出する概念は、より少ないトークンで表現可能であるという仮説に基づくフレームワークを構築する。

Figure 1 : Illustration of our approach for measuring image originality using multi-token textual inversion. Original images require more tokens for accurate reconstruction, while common images like Van Gogh’s ”Starry Night” need only one token.

実験結果

リサーチクエスチョン

• RQ1 訓練データへのアクセスなしに、テキストから画像への拡散モデルを用いて生成画像の独自性を定量的に評価できるか？
• RQ2 画像を再構築するために必要なテキストインバージョントークンの数は、その概念的新規性または独自性とどの程度相関するか？
• RQ3 モデルが学習データに対してどれほど熟練しているか（トークン数で示される）は、画像が一般的か独自性があるかを予測するのにどの程度有効か？
• RQ4 この手法は、最小限の創造性と著作者性を重視する法的定義における独自性と整合するか？
• RQ5 多様な画像タイプやモデルアーキテクチャに対して、トークン数に基づく独自性指標はどの程度頑健か？

主な発見

• 再構築に多くのテキストインバージョントークンを要する画像は、モデルにとって新しいまたはなじみの薄い概念を表しており、より独自性が高いと評価される。
• 一般的な画像、例えばバン・ゴッホの『星に覆われた夜』は、1つのトークンで再構築可能であり、モデルの熟練度が高く、独自性が低いことを示している。
• 本手法は、合成および実世界の画像データセットの両方で、トークン数と独自性の相関関係を成功裏に示しており、一貫した性能を発揮している。
• 多様で変化に富んだ記述が提示された場合、Stable Diffusionモデルは未学習の要素に対しても良好に一般化でき、革新能力を示している。
• 本フレームワークは、データフリーかつプロンプトに依存しない独自性評価手法を提供しており、法的および監査用途に適している。
• 結果は、記憶の最小化を図るべきという従来の見解に挑戦しており、多様性とバランスを取ることで、広範なモデル熟練度が独自性の生成を促進することが示唆されている。

Figure 2 : Generalization experiments diagram on synthetic data. (i) We evaluate the relationship between data diversity and originality by running experiments over sets of distinct elements in increasing sizes. (ii) Examples of datasets synthesized from the respective element sets illustrate the va