[論文レビュー] Feature Extraction Matters More: Universal Deepfake Disruption through Attacking Ensemble Feature Extractors

Long Tang, Dengpan Ye+5 more|arXiv (Cornell University)|Mar 1, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、アンサンブル特徴抽出器を最初に攻撃し、その後エンド・ツー・エンドの破壊を強化するための勾配・アンサンブル法を適用する、新しいユニバーサルディープフェイク破壊手法FOUNDを提案する。深層生成におけるコアとなる特徴抽出に焦点を当てることで、HiSDで最高98.55％の成功確率を達成し、最小限の学習データで優れた効率性を発揮し、白ボックスおよびブラックボックスの転送性において、既存のユニバーサル破壊手法を上回る。

ABSTRACT

Adversarial example is a rising way of protecting facial privacy security from deepfake modification. To prevent massive facial images from being illegally modified by various deepfake models, it is essential to design a universal deepfake disruptor. However, existing works treat deepfake disruption as an End-to-End process, ignoring the functional difference between feature extraction and image reconstruction, which makes it difficult to generate a cross-model universal disruptor. In this work, we propose a novel Feature-Output ensemble UNiversal Disruptor (FOUND) against deepfake networks, which explores a new opinion that considers attacking feature extractors as the more critical and general task in deepfake disruption. We conduct an effective two-stage disruption process. We first disrupt multi-model feature extractors through multi-feature aggregation and individual-feature maintenance, and then develop a gradient-ensemble algorithm to enhance the disruption effect by simplifying the complex optimization problem of disrupting multiple End-to-End models. Extensive experiments demonstrate that FOUND can significantly boost the disruption effect against ensemble deepfake benchmark models. Besides, our method can fast obtain a cross-attribute, cross-image, and cross-model universal deepfake disruptor with only a few training images, surpassing state-of-the-art universal disruptors in both success rate and efficiency.

研究の動機と目的

• 既存のユニバーサルディープフェイク破壊手法に見られる、特徴抽出と画像再構築を区別せずにエンド・ツー・エンドのプロセスとして破壊を扱うという、マルチモデル間一般化の欠如を解決すること。
• 生成器全体ではなく、特徴抽出モジュールを攻撃することで、より効果的かつユニバーサルなディープフェイク破壊が可能かどうかを調査すること。
• 最小限の学習データで、白ボックスの普遍性とブラックボックスの転送性を両立する二段階の破壊フレームワークを開発すること。
• 多モデルエンド・ツー・エンド攻撃における複雑な最適化の衝突を解消するため、新しい勾配アンサンブル戦略を導入すること。

提案手法

• 複数のディープフェイクモデルの特徴抽出器を、多様な特徴の集約と個別特徴の維持により攻撃する二段階の破壊プロセスを提案する。
• エンド・ツー・エンド段階で勾配アンサンブル攻撃戦略を導入し、多様なディープフェイクモデル間の最適化の衝突を緩和し、全体の破壊性能を向上させる。
• 摂動中も元の画像の属性を維持するシンプルで効果的な損失関数を用いることで、歪みを最小限に抑えつつ破壊効果を最大化する。
• ユニバーサル破壊器を、さまざまな属性、画像、モデルに効果的に適用できるように、極めて少ない訓練画像（少画像）で生成する。
• 特徴抽出器の攻撃を全モデル攻撃から分離することで、複雑な多モデル最適化問題をより単純でモジュラーなタスクに分解する。
• 属性変更GANにおける特徴抽出の構造的・機能的類似性を活用し、マルチモデル間の転送性を実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープフェイクモデルの特徴抽出モジュールを攻撃することで、エンド・ツー・エンド攻撃よりも効果的かつ一般化性の高い破壊が達成できるか？
• RQ2 特徴抽出器へのアンサンブル攻撃は、多様なディープフェイクモデルにおいて、エンド・ツー・エンド攻撃と比較して成功確率と頑健性に優れているか？
• RQ3 勾配アンサンブル戦略は、多モデルエンド・ツー・エンド破壊における最適化の安定性と性能を向上させることができるか？
• RQ4 特徴抽出器の破壊は、ユニバーサルディープフェイク破壊器のブラックボックス転送性をどの程度向上させるか？
• RQ5 特徴抽出器の破壊に焦点を当てることで、数枚の画像でのみ効果的なユニバーサル破壊器を訓練できるか？

主な発見

• 特徴抽出器のみを攻撃する（特徴アンサンブル）ことで、4つのディープフェイクモデルで平均95.69％の成功確率を達成し、エンド・ツー・エンド攻撃を顕著に上回る。
• 特徴アンサンブルとエンド・ツー・エンド勾配アンサンブル（FOUND）の組み合わせにより、HiSDで最高98.55％、StarGANとAGGANでは100％の成功確率を達成した。
• FOUNDではL2マスク距離が平均0.20にまで低下し、歪みが最小限の高品質な摂動を実現した。
• FOUNDのFIDスコアは平均273.46であり、ベースライン手法と比較して生成出力がより現実的であることを示している。
• FOUNDは強いブラックボックス転送性を示した：低摂動スケールでも、CMUAやランダムなガウスノイズよりも成功確率の上昇が顕著に見られた。
• 極めて少ない訓練画像で最先端の性能を達成した。これは、高い効率性と属性、画像、モデルの多様性にわたる強力な一般化性を証明している。