[論文レビュー] Anti-DreamBooth: Protecting users from personalized text-to-image synthesis

Thanh Van Le, Hao Phung+4 more|arXiv (Cornell University)|Mar 27, 2023

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本論文は、FSMG および ASPL 手法を用いて個人化された拡散モデルを妨害し、ユーザー画像に知覚できないノイズを追加することで、悪意ある DreamBooth パーソナライズからユーザーを保護する。

ABSTRACT

Text-to-image diffusion models are nothing but a revolution, allowing anyone, even without design skills, to create realistic images from simple text inputs. With powerful personalization tools like DreamBooth, they can generate images of a specific person just by learning from his/her few reference images. However, when misused, such a powerful and convenient tool can produce fake news or disturbing content targeting any individual victim, posing a severe negative social impact. In this paper, we explore a defense system called Anti-DreamBooth against such malicious use of DreamBooth. The system aims to add subtle noise perturbation to each user's image before publishing in order to disrupt the generation quality of any DreamBooth model trained on these perturbed images. We investigate a wide range of algorithms for perturbation optimization and extensively evaluate them on two facial datasets over various text-to-image model versions. Despite the complicated formulation of DreamBooth and Diffusion-based text-to-image models, our methods effectively defend users from the malicious use of those models. Their effectiveness withstands even adverse conditions, such as model or prompt/term mismatching between training and testing. Our code will be available at https://github.com/VinAIResearch/Anti-DreamBooth.git.

研究の動機と目的

• 個人化されたテキストから画像への合成のリスクと社会的影響を動機づけて示す。
• DreamBoothの学習を妨げるために、公開前にユーザー画像を改変する予防的防御を提案する。
• 拡散モデルを意識した枠組みの中で敵対的ノイズを生成するアルゴリズムを設計・比較する。
• 頑健性を評価するため、複数のデータセット・プロンプト・モデルバージョンにわたって防御を評価する。

提案手法

• 摂動が代理DreamBoothモデルの再構成損失を最大化するような二重階層最適化を定式化する。
• 完全訓練済み代理モデルガイダンス（FSMG）を提案。クリーンデータで訓練された固定の代理モデルを用いて摂動を導く。
• 代理モデルのファインチューニングと摂動最適化を交互に行うAlternating Surrogate and Perturbation Learning（ASPL）を提案する。
• 拡散デノイズのステップごとの性質に適応させ、訓練中にランダムに選択された時刻での損失を狙うよう摂動最適化を適合させる。
• 非標的摂動手法を提供し、堅牢性のための標的型およびアンサンブル変種の可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 知覚できない摂動は、DreamBooth が拡散モデルを効果的に個人化するのを防げるか？
• RQ2 DreamBooth の学習を妨げつつ画像品質を保つ点で、代理ガイド付き摂動法（FSMG、ASPL）はどう比較されるか？
• RQ3 プロンプト、モデルバージョン、データ漏洩シナリオの変化に対して防御は堅牢か？

主な発見

• ASPLは、2つの顔ベンチマークに渡ってDreamBoothのパーソナライズ効果を一貫して低減する。
• 摂動は、守備モデルでの顔検出失敗率を高め、アイデンティティ一致スコアを低下させる。
• 防御方法は、訓練とテストの間のモデルまたはプロンプトのずれがあっても有効であり続ける。
• ASPLの性能は便利な設定でFSMGを上回り、プロンプトとデータセットを横断して堅牢性を示す。
• 摂動予算やプロンプト変動を含む不利で制御不能な設定下でもこのアプローチは競争力を維持する。