[論文レビュー] DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models

Zeyang Sha, Zheng Li+2 more|arXiv (Cornell University)|Oct 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、DALL·E 2 や Stable Diffusion などのテキストto画像モデルによって生成された偽造画像を検出および特定するためのシステムである DE-FAKE を提案する。画像のみの検出器とハイブリッド検出器を、CLIP埋め込みと BLIP を用いたプロンプト再構築によって導入し、複数クラスの特定器を用いて、高精度でソースモデルを同定する。その結果、'person'（人物）をテーマとするプロンプトおよび25〜75トークンの長さのプロンプトが、より本物に近い偽造画像を生成することが明らかになった。

ABSTRACT

Text-to-image generation models that generate images based on prompt descriptions have attracted an increasing amount of attention during the past few months. Despite their encouraging performance, these models raise concerns about the misuse of their generated fake images. To tackle this problem, we pioneer a systematic study on the detection and attribution of fake images generated by text-to-image generation models. Concretely, we first build a machine learning classifier to detect the fake images generated by various text-to-image generation models. We then attribute these fake images to their source models, such that model owners can be held responsible for their models' misuse. We further investigate how prompts that generate fake images affect detection and attribution. We conduct extensive experiments on four popular text-to-image generation models, including DALL$\cdot$E 2, Stable Diffusion, GLIDE, and Latent Diffusion, and two benchmark prompt-image datasets. Empirical results show that (1) fake images generated by various models can be distinguished from real ones, as there exists a common artifact shared by fake images from different models; (2) fake images can be effectively attributed to their source models, as different models leave unique fingerprints in their generated images; (3) prompts with the ``person'' topic or a length between 25 and 75 enable models to generate fake images with higher authenticity. All findings contribute to the community's insight into the threats caused by text-to-image generation models. We appeal to the community's consideration of the counterpart solutions, like ours, against the rapidly-evolving fake image generation.

研究の動機と目的

• DALL·E 2 や Stable Diffusion などの高精細な偽造画像の乱用という増加する脅威に対処すること。
• 偽造画像を検出し、その生成元のモデルに帰属づける体系的なアプローチを開発し、責任追及を可能にすること。
• プロンプトの特性が生成された偽造画像の本物らしさに与える影響を調査すること。
• テキストto画像生成による偽造画像の検出と帰属づけに関する包括的な研究を提供し、AIセーフティ分野における重要な空白を埋めること。

提案手法

• テキストto画像モデルが生成した本物対偽物の画像を分類するため、画像特徴のみを用いて二値の画像のみ検出器を訓練する。
• CLIP の画像埋め込みと、同じモデルからのプロンプト埋め込みを組み合わせたハイブリッド検出器を設計し、文脈的情報を活用することで検出性能を向上させる。
• 推論時において真のプロンプトが入手できない場合に、BLIP を用いて自然なプロンプトを画像から再構築する。
• 画像のみおよびハイブリッドの多クラス帰属づけ器を開発し、偽造画像をその生成元モデル（例：Stable Diffusion、GLIDE）に分類する。
• CLIP の画像およびテキストエンコーダーを用いて、画像とプロンプトを共通の埋め込み空間にマップし、ハイブリッド検出および帰属づけのための統合的分析を実現する。
• 意味的トピックと構造的特徴（例：長さ）を抽出することで、プロンプト分析を実施し、本物らしさに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなテキストto画像モデルによって生成された偽造画像は、本物の画像と信頼性高く区別できるか？
• RQ2 偽造画像は、その生成元のテキストto画像生成モデルに正確に帰属づけられるか？
• RQ3 どのようなプロンプト特性（例：トピック、長さ）が、より本物に近い偽造画像を生み出すか？
• RQ4 プロンプト情報の組み込みが、検出および帰属づけ性能にどのように寄与するか？

主な発見

• 異なるテキストto画像モデルが生成する偽造画像は共通のアーティファクトを共有しており、検出器が1つのモデルでのみ学習していても、効果的な検出が可能である。
• 画像とプロンプトの両方の埋め込みを用いるハイブリッド検出は、評価されたすべてのモデルで画像のみ検出を一貫して上回る性能を示した。
• 画像のみおよびハイブリッドの両方の帰属づけ器を用いて、偽造画像をその生成元モデルに正確に特定できる。これは、各モデルが一意で識別可能な指紋を残していることを示している。
• トピックが 'person'（人物）であるプロンプトは、他のトピックと比較して著しく本物に近い偽造画像を生成する。
• 25〜75トークンの長さのプロンプトは、生成画像の本物らしさを高めることが示され、プロンプトの複雑さにおける「最適領域」があると考えられる。
• 自然なプロンプトが入手できない状況でも、BLIP を用いたプロンプト再構築により、ハイブリッド検出アプローチが強力な性能を発揮することが分かった。