[論文レビュー] Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer

Shengshan Hu, Xiaogeng Liu+5 more|arXiv (Cornell University)|Mar 7, 2022

Face recognition and analysis被引用数 7

ひとこと要約

本論文では、視覚的品質を保持しつつ、商業的顔認識APIに対する強力なブラックボックス攻撃成功を達成するために、参照画像からのメイクスタイルを転送することで敵対的顔画像を生成するGANベースのフレームワーク、AMT-GANを提案する。正則化モジュールと共同学習を統合することで、敵対的摂動の強度とサイクル整合性のバランスを図り、攻撃成功確率および画像品質指標において最先端の手法を上回る性能を達成した。

ABSTRACT

While deep face recognition (FR) systems have shown amazing performance in identification and verification, they also arouse privacy concerns for their excessive surveillance on users, especially for public face images widely spread on social networks. Recently, some studies adopt adversarial examples to protect photos from being identified by unauthorized face recognition systems. However, existing methods of generating adversarial face images suffer from many limitations, such as awkward visual, white-box setting, weak transferability, making them difficult to be applied to protect face privacy in reality. In this paper, we propose adversarial makeup transfer GAN (AMT-GAN), a novel face protection method aiming at constructing adversarial face images that preserve stronger black-box transferability and better visual quality simultaneously. AMT-GAN leverages generative adversarial networks (GAN) to synthesize adversarial face images with makeup transferred from reference images. In particular, we introduce a new regularization module along with a joint training strategy to reconcile the conflicts between the adversarial noises and the cycle consistence loss in makeup transfer, achieving a desirable balance between the attack strength and visual changes. Extensive experiments verify that compared with state of the arts, AMT-GAN can not only preserve a comfortable visual quality, but also achieve a higher attack success rate over commercial FR APIs, including Face++, Aliyun, and Microsoft.

研究の動機と目的

• 既存の敵対的顔攻撃手法の限界、すなわち視覚的品質の低さ、転送性の弱さ、ホワイトボックスまたはクエリベースの設定に依存する問題を解決すること。
• ターゲットの顔認識モデルへのアクセスを必要とせず、ユーザーがソーシャルメディア上で顔画像を保護できるプライバシー保護手法を開発すること。
• ブラックボックス設定における高い攻撃成功確率と自然な外観の画像品質の両立を、新しい生成フレームワークにより実現すること。
• メイク転送を構造的摂動機構として活用することで、敵対的例のロバスト性と視覚的忠実度を向上させること。
• プライバシー保護型顔生成のための画像間変換において、敵対的ノイズとサイクル整合性損失の間の矛盾を是正すること。

提案手法

• AMT-GANは、参照画像からのメイクスタイルをソース顔に転送することで、敵対的顔画像を生成する条件付きGANフレームワークを採用する。
• 敵対的ノイズとサイクル整合性損失の間の矛盾を軽減するための新しい正則化モジュールを導入し、再構成時の画像品質を向上させる。
• 特徴の分離とスーパーレゾリューション品質の向上を図るため、エンコーダ・デコーダ構造に残差畳み込みブロックを組み込む。
• 標準GAN学習プロセスと正則化モジュール、サイクル整合性損失を統合する共同学習戦略を採用し、学習の安定化を図る。
• 分離された表現を活用することで、アイデンティティおよび構造的コンテンツを保持しつつ、メイク（スタイル）のみを転送することを保証する。
• エンドツーエンドで訓練することで、多様なターゲットモデルで高い攻撃成功確率を維持する自然な外観の敵対的顔画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 メイク転送は、顔のプライバシー保護のための自然かつ効果的な摂動構造化メカニズムとして機能するか？
• RQ2 敵対的ノイズとサイクル整合性損失のバランスをどのようにとれば、画像品質を保持しつつ攻撃力も維持できるか？
• RQ3 提案手法は、商業的顔認識APIにおいて、既存の敵対的攻撃手法と比較して優れたブラックボックス転送性を達成するか？
• RQ4 参照画像（メイクスタイル）の選択が、生成された敵対的顔画像の視覚的品質および攻撃成功確率にどの程度影響を及ぼすか？
• RQ5 正則化モジュールは、サイクル整合性GANにおける敵対的毒性に起因するアーチファクトを低減し、学習を安定化させることができるか？

主な発見

• AMT-GANはFace++で98.7%、Aliyunで97.3%、Microsoft Azureで96.5%の攻撃成功確率を達成し、最先端の手法を著しく上回った。
• FIDは38.7357（TIP-IM）から34.4405に低下し、PSNRは33.2089から19.5045に向上し、画像品質の向上が示された。
• アブレーションスタディの結果、正則化モジュールを削除すると画像品質が低下し、FIDは37.5486に上昇し、PSNRは19.3132に低下した。
• 異なるメイクスタイルを有する10種類の参照画像に対して一貫した攻撃成功確率を維持しており、強いスタイル耐性が確認された。
• 視覚的評価により、AMT-GANが生成する敵対的顔画像は、先行手法と比較してより自然でノイズが少ないことが確認された。
• フレームワークは女性顔に対して高い攻撃成功を示しており、トレーニングデータに性別バイアスが存在し、性能に影響を与えている可能性が示唆された。