[論文レビュー] UnGANable: Defending Against GAN-based Face Manipulation

Zheng Li, Ning Yu+4 more|arXiv (Cornell University)|Oct 3, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

UnGANable は、GAN 逆問題に基づく顔の改ざんに対する最初の防御システムであり、視覚的有用性を保ちながら GAN 逆問題の正確性を低下させるクローキング画像を提案する。Fawkes や 13 種類のベースライン歪みと比較して、2 つのベンチマークデータセットにおける 4 つの GAN モデルで優れた効果と耐性を示している。

ABSTRACT

Deepfakes pose severe threats of visual misinformation to our society. One representative deepfake application is face manipulation that modifies a victim's facial attributes in an image, e.g., changing her age or hair color. The state-of-the-art face manipulation techniques rely on Generative Adversarial Networks (GANs). In this paper, we propose the first defense system, namely UnGANable, against GAN-inversion-based face manipulation. In specific, UnGANable focuses on defending GAN inversion, an essential step for face manipulation. Its core technique is to search for alternative images (called cloaked images) around the original images (called target images) in image space. When posted online, these cloaked images can jeopardize the GAN inversion process. We consider two state-of-the-art inversion techniques including optimization-based inversion and hybrid inversion, and design five different defenses under five scenarios depending on the defender's background knowledge. Extensive experiments on four popular GAN models trained on two benchmark face datasets show that UnGANable achieves remarkable effectiveness and utility performance, and outperforms multiple baseline methods. We further investigate four adaptive adversaries to bypass UnGANable and show that some of them are slightly effective.

研究の動機と目的

• GAN 逆問題に基づく顔の改ざんの増加する脅威に対処すること。これは、年齢や髪の色といった顔の属性を不正に編集可能にする。
• 改ざん後の操作ではなく、根本的な第一歩である GAN 逆問題を標的とする防御を開発すること。
• 状況に応じた防御を設計し、白箱、グレー箱、ブラックボックスの状況を含む、防御者の知識の程度に応じて適応可能にすること。
• 防御された画像が元の画像と視覚的に区別がつかないまま、逆問題の性能を低下させること。

提案手法

• UnGANable は、視覚的忠実度を保ちながら GAN 逆問題を誤導する画像空間内の摂動を探索することで、クローキング画像を生成する。
• 防御者の知識に基づいて 5 種類の異なるクローキング戦略を設計：最適化ベースの逆問題には 2 種類、ハイブリッド逆問題には 3 種類。
• 完全な知識（白箱）から知識なし（ブラックボックス）までの 5 つの状況に合わせて、クローキングをカスタマイズすることで、適応的防御設計を可能にする。
• 耐性を評価するために、最適化ベースおよびハイブリッド GAN 逆問題手法を脅威モデルとして活用する。
• 4 つの人気のある GAN モデル（例：StyleGAN2、StarGANv2）を、2 つのベンチマーク顔データセット（FFHQ、CelebA）で学習させた上で、防御を評価する。
• 空間平滑化や逆問題の反復回数の増加を含む 4 つの適応的攻撃戦略を用いた敵対的評価を実施し、耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 視覚的品質を損なわずに GAN 逆問題の性能を低下させるクローキング画像を生成できるか？
• RQ2 防御者の知識（白箱、グレー箱、ブラックボックス）がクローキング防御の設計と効果にどのように影響するか？
• RQ3 Fawkes や標準的な画像歪み手法と比較して、UnGANable は逆問題の混乱度と有用性の両面で優れているか？
• RQ4 空間平滑化や反復回数の増加といった適応的攻撃が、UnGANable を回避するのにどの程度成功するか？
• RQ5 多様な GAN アーキテクチャと複雑さの異なるデータセットにおいても、防御は有効であるか？

主な発見

• UnGANable は、FFHQ および CelebA データセットにおける 4 つの GAN モデル（StyleGAN2、StarGANv2 など）で、あらゆる状況において一貫した効果を発揮し、GAN 逆問題の性能を顕著に低下させる。
• 逆問題の混乱度と視覚的有用性の両面で、13 種類のベースライン画像歪み手法や Fawkes を上回っている。特にハイブリッド逆問題の設定で顕著な優位性を示す。
• Cloak v0/v2/v3（白箱およびグレー箱バージョン）は、Cloak v1/v4（ブラックボックス）よりも優れた性能を示しており、防御者の知識が高くなるほど防御効果が向上することを示している。
• 空間平滑化と反復回数の増加が、唯一わずかに成功する適応的攻撃であり、UnGANable の高い耐性を示している。
• GAN エンコーダーの再学習も、UnGANable の効果を顕著に低下させないため、攻撃者がエンコーダー強化を戦略として用いることは現実的ではない。