[論文レビュー] Intriguing Properties of Diffusion Models: An Empirical Study of the Natural Attack Capability in Text-to-Image Generative Models

Takami Sato, Justin Yue+3 more|arXiv (Cornell University)|Aug 30, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿は、テキストから画像に変換する拡散モデルに、人間が本質的に必要とする耐性のある特徴（例：色、形状）を除去するプロンプトを用いることで、自然な攻撃能力を有することを特定した。この攻撃は、Natural Denoising Diffusion（NDD）攻撃と呼ばれる。モデルは依然としてDNNオブジェクト検出器をだます画像を生成するが、人間の被験者93％に対しては不顕在であり、88％の検出率を達成する。これは、拡散モデルが埋め込む非耐性特徴が、効果的でモデルに依存しない、かつ転送可能な敵対的攻撃を可能にしていることを示している。

ABSTRACT

Denoising probabilistic diffusion models have shown breakthrough performance to generate more photo-realistic images or human-level illustrations than the prior models such as GANs. This high image-generation capability has stimulated the creation of many downstream applications in various areas. However, we find that this technology is actually a double-edged sword: We identify a new type of attack, called the Natural Denoising Diffusion (NDD) attack based on the finding that state-of-the-art deep neural network (DNN) models still hold their prediction even if we intentionally remove their robust features, which are essential to the human visual system (HVS), through text prompts. The NDD attack shows a significantly high capability to generate low-cost, model-agnostic, and transferable adversarial attacks by exploiting the natural attack capability in diffusion models. To systematically evaluate the risk of the NDD attack, we perform a large-scale empirical study with our newly created dataset, the Natural Denoising Diffusion Attack (NDDA) dataset. We evaluate the natural attack capability by answering 6 research questions. Through a user study, we find that it can achieve an 88% detection rate while being stealthy to 93% of human subjects; we also find that the non-robust features embedded by diffusion models contribute to the natural attack capability. To confirm the model-agnostic and transferable attack capability, we perform the NDD attack against the Tesla Model 3 and find that 73% of the physically printed attacks can be detected as stop signs. Our hope is that the study and dataset can help our community be aware of the risks in diffusion models and facilitate further research toward robust DNN models.

研究の動機と目的

• テキストから画像に変換する拡散モデルが、人間の認識に不可欠な耐性のある視覚的特徴を除去することで、敵対的攻撃を自然に生成できるかどうかを調査すること。
• 大規模な実証的調査を用いて、こうした攻撃の有効性と不顕在性を体系的に評価すること。
• 耐性のある特徴を含む・含まない画像を生成した40,870枚の画像からなる包括的なNDDAデータセットを構築・公開し、自然攻撃能力のベンチマーク化を図ること。
• 実世界での攻撃の実現可能性を、量産型の自動運転車に対してテストすることで評価すること。
• 拡散モデルが引き起こすセキュリティリスクについて研究コミュニティに啓発を促し、より耐性のあるDNNの開発を促進すること。

提案手法

• ステートオブザアートな3つの拡散モデル（例：Stable Diffusion、DALL-E 2）を用い、人間の認識に不可欠な耐性のある視覚的特徴（色、形状、テキスト、パターン）を明示的に除去するプロンプトを用いて画像を生成することで、NDDAデータセットを構築した。
• CLIPのような対照的画像・テキストモデルを用い、視覚的耐性を体系的に低下させながら、テキストプロンプトに条件付けた画像生成を実施した。
• 5つの最先端のオブジェクト検出器を用いて、耐性のある特徴を含む・含まない画像の検出率を測定することで、自然攻撃能力を評価した。
• 93％の参加者が攻撃的性質を検出できなかったユーザー調査を実施し、不顕在性を確認した。
• 物理世界でのテストとして、攻撃的ストップ・サインを印刷し、量産型の自動運転車での検出率を評価した。
• 人間には見えない摂動に対してもモデルの予測を維持する非耐性特徴の役割を分析することで、特徴の寄与度を検証した。

実験結果

リサーチクエスチョン

• RQ1 最先端の拡散モデルは、テキストプロンプトによって耐性のある視覚的特徴（色、形状など）を除去された場合でも、DNNオブジェクト検出器をだます敵対的例を生成できるか、その程度はどの程度か？
• RQ2 こうした敵対的例は人間の観察者に対してどの程度不顕在であり、人間の検出を回避しながらも、モデルの検出率を高い水準に保てるか？
• RQ3 NDD攻撃は異なるDNNモデル間で転送可能であり、実世界の自動運転車などに応用可能か？
• RQ4 人間には見えないがDNNに一般化可能な非耐性特徴は、拡散モデルの自然攻撃能力をどのように可能にしているか？
• RQ5 NDD攻撃は、異なるオブジェクトクラスや拡散モデルに対してどの程度一般化可能か？

主な発見

• 耐性のある特徴（赤色や八角形の形状）を欠いたストップ・サインの画像に対して、NDD攻撃はオブジェクト検出器で88％の検出率を達成した。
• ユーザー調査では93％の被験者が攻撃的性質を検出できず、攻撃は人間に対して不顕在であった。
• プロンプトから色、形状、テキスト、パターンの4つの耐性のある特徴をすべて除去しても、生成されたストップ・サインのうち32％は依然としてオブジェクト検出器でストップ・サインと識別された。
• 物理世界でのテストでは、印刷された攻撃的ストップ・サインの73％が量産型の自動運転車によってストップ・サインと検出された。
• この研究は、拡散モデルが埋め込む非耐性特徴が、モデルやタスクをまたいで一般化可能であるため、自然攻撃能力の主要因であることを確認した。
• 15個のオブジェクトクラスと6つの拡散モデルをカバーする40,870枚の画像を含むNDDAデータセットを公開し、今後の拡散モデルにおける耐性と敵対的耐性に関する研究を支援する。