[論文レビュー] DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection

Jiang Liu, Chun Pong Lau+4 more|arXiv (Cornell University)|May 23, 2023

Face recognition and analysis被引用数 8

ひとこと要約

DiffProtect は拡散オートエンコーダを用いて意味論的に有意義で高品質な敵対的顔画像を生成し、フェイス認識システムを誤認させる攻撃を行い、従来法よりも高い攻撃成功率を達成します。攻撃加速バリアントも導入します。

ABSTRACT

The increasingly pervasive facial recognition (FR) systems raise serious concerns about personal privacy, especially for billions of users who have publicly shared their photos on social media. Several attempts have been made to protect individuals from being identified by unauthorized FR systems utilizing adversarial attacks to generate encrypted face images. However, existing methods suffer from poor visual quality or low attack success rates, which limit their utility. Recently, diffusion models have achieved tremendous success in image generation. In this work, we ask: can diffusion models be used to generate adversarial examples to improve both visual quality and attack performance? We propose DiffProtect, which utilizes a diffusion autoencoder to generate semantically meaningful perturbations on FR systems. Extensive experiments demonstrate that DiffProtect produces more natural-looking encrypted images than state-of-the-art methods while achieving significantly higher attack success rates, e.g., 24.5% and 25.1% absolute improvements on the CelebA-HQ and FFHQ datasets.

研究の動機と目的

• 広く普及している顔認識システムに対する顔のプライバシー保護を動機づける。
• 高い攻撃有効性を持つ自然に見える敵対的顔画像を生成する手法を開発する。
• Diffusionモデルを活用して意味論的に意味を持つ顔の摂動を生成する。
• 視覚的なアイデンティティを保持しつつ、FRシステムに対する標的攻撃を可能にする。

提案手法

• 拡散オートエンコーダを使って入力顔を意味コード z と確率コード x_T にエンコードする。
• 条件付き DDIM デコードにより保護画像 I_p を生成するように敵対的意味コード z_adv を反復的に最適化する。
• 顔の意味論的正規化を組み込み、I_p が I に視覚的に類似したままアイデンティティを保持するようにする。
• L_infty 予算の周りで z_adv に対して制約付き最適化として攻撃を定式化する（||z_adv − z||_∞ < γ）。
• 任意で攻撃加速バリアント（DiffProtect-fast）を適用し、1回の拡散ステップで I_p を推定して反復を高速化する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは視覚的に高品質でFRシステムを欺くのに有効な敵対的顔画像を生成できるか。
• RQ2 意味論的正規化は攻撃成功率と視覚的忠実度のトレードオフにどのように影響するか。
• RQ3 拡散ベースの敵対攻撃を大幅な性能低下なしに加速することは可能か。
• RQ4 拡散ベースの攻撃は黒箱の標的設定において GANベースや従来のノイズ/パッチベースの方法とどう比較されるか。

主な発見

• DiffProtect は CelebA-HQ および FFHQ における標的ブラックボックス FR 攻撃で従来手法を大幅に上回り、ASR が高くFID が低い。
• 意味のある正規性を用いた自然に見える保護画像を生成し、目立つノイズやパッチを避ける。
• 攻撃加速バリアント（DiffProtect-fast）は計算時間を約半分に抑えつつ同程度の ASR を達成。
• 顔の意味論的正規化は入力アイデンティティの保持に役立つが、正規化重みに応じて ASR が低下する可能性がある。
• 商用 FR API Face++ に対する CelebA-HQ と FFHQ の平均信頼度低下は、ベースラインと比較して DiffProtect が高い。