[論文レビュー] Discovering the Hidden Vocabulary of DALLE-2

Giannis Daras, Alexandros G. Dimakis|arXiv (Cornell University)|Jun 1, 2022

Digital Media Forensic Detection被引用数 22

ひとこと要約

本論文は、DALLE-2 における隠れた語彙を明らかにし、無意味なテキストのプロンプトが意味的に意味のある画像を生成できることを示し、そうした語と視覚概念を発見するブラックボックス手法を提示する。

ABSTRACT

We discover that DALLE-2 seems to have a hidden vocabulary that can be used to generate images with absurd prompts. For example, it seems that exttt{Apoploe vesrreaitais} means birds and exttt{Contarra ccetnxniams luryca tanniounons} (sometimes) means bugs or pests. We find that these prompts are often consistent in isolation but also sometimes in combinations. We present our black-box method to discover words that seem random but have some correspondence to visual concepts. This creates important security and interpretability challenges.

研究の動機と目的

• DALLE-2 が無意味なテキストと視覚概念との内部的な対応を発展させるかどうかを動機づけて調査する。
• 無作為に見える語が視覚概念と相関することを発見する、単純なブラックボックス手法を示す。
• 発見された語彙の構成性とスタイル転送特性を評価する。
• これらの知見に起因するセキュリティと解釈可能性の課題について論じる。

提案手法

• 生成画像上で無意味なテキストを引き出すよう設計されたプロンプトで API 経由で DALLE-2 をクエリする。
• 画像上のテキストを解析し、それを再利用して無意味語を視覚概念へ対応づけるプロンプトとして用いる。
• 特定した語を組み合わせて構成性を検証する実験（例：鳥が虫を食べる）を行う。
• スタイル転送の一貫性をテストし、発見された語がスタイルを跨いで持続する視覚概念に対応するかを確認する。
• 発見された語彙の堅牢性と限界に関する定性的観察を提供する。

実験結果

リサーチクエスチョン

• RQ1 DALLE-2 によって生成された無意味なプロンプトは、認識可能な視覚概念と対応しているか？
• RQ2 プロンプト全体で一貫して視覚カテゴリーへ対応する特定の無意味語を同定できるか？
• RQ3 この対応付けは構成可能か。発見された語の組み合わせで一貫したシーンを生み出せるか？
• RQ4 これらの対応付けは異なるスタイルやプロンプト間でどれだけ安定しているか？
• RQ5 DALLE-2 の隠れた語彙のセキュリティおよび解釈可能性への影響は何か？

主な発見

• 無意味なプロンプトはしばしば鳥や虫などの視覚概念と関連する。
• 発見された語は時に組み合わせて意味のある場面を描くことができる（例：鳥が虫を食べる）。
• 同じ無意味語は異なるスタイル間で一貫した概念を生み出すことがあるが、普遍的ではない。
• 一部のプロンプトは、意図されたキャプションと整合するテキストを生成し、テキスト条件付けと生成画像の部分的な一貫性を示唆する。
• これらの知見は、潜在的なバックドア的敵対的プロンプトや頑健性の限界を含む、セキュリティと解釈可能性の懸念を引き起こす。