[論文レビュー] Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition

Bangjie Yin, Wenxuan Wang+6 more|arXiv (Cornell University)|May 7, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用数 13

ひとこと要約

Adv-Makeup は、タスク指向のメイク生成およびブレンドモジュールを用いて自然なアイシャドウを生成することで、顔認識システムに対する画期的で目に見えず、転送可能な敵対的攻撃を提案する。この手法は、デジタルおよび物理的環境下でブラックボックスモデル、特に商用プラットフォームに対し高い攻撃成功率を達成しており、従来の手法に比べて目立たなさと転送性の両面で優れている。

ABSTRACT

Deep neural networks, particularly face recognition models, have been shown to be vulnerable to both digital and physical adversarial examples. However, existing adversarial examples against face recognition systems either lack transferability to black-box models, or fail to be implemented in practice. In this paper, we propose a unified adversarial face generation method - Adv-Makeup, which can realize imperceptible and transferable attack under black-box setting. Adv-Makeup develops a task-driven makeup generation method with the blending module to synthesize imperceptible eye shadow over the orbital region on faces. And to achieve transferability, Adv-Makeup implements a fine-grained meta-learning adversarial attack strategy to learn more general attack features from various models. Compared to existing techniques, sufficient visualization results demonstrate that Adv-Makeup is capable to generate much more imperceptible attacks under both digital and physical scenarios. Meanwhile, extensive quantitative experiments show that Adv-Makeup can significantly improve the attack success rate under black-box setting, even attacking commercial systems.

研究の動機と目的

• 実世界の応用において、目に見えず、かつ転送可能な実用的敵対的攻撃手法を開発すること。
• 視覚的に目立つ、またはブラックボックスモデルへの転送性に欠ける従来の攻撃の限界を解消すること。
• メイクを媒体として用いることで、物理世界への敵対的例の展開を可能にし、自然な外見を保つこと。
• メタラーニング戦略を用いて、商用のブラックボックス顔認識システムにおける攻撃成功率を向上させること。

提案手法

• メイク生成モジュールが顔の眼窩部に現実的なアイシャドウを合成することで、視覚的な自然さを確保する。
• ソース顔と生成されたアイシャドウの間でスタイルとコンテンツを一致させるメイクブレンド戦略を採用し、忠実度と目立たなさを向上させる。
• 微細なメタラーニング敵対的攻撃戦略を用いて、多様なモデル間で一般化された攻撃特徴を学習する。
• エンドツーエンドに訓練することで、ブラックボックス設定下での目立たなさと高い攻撃成功率の両方を最適化する。
• デジタルおよび物理的シナリオの両方で評価され、実際のタトゥーパステュアアプリケーションを含む。
• Face++ や Microsoft Azure などの複数のブラックボックスモデル上で攻撃がテストされた。

実験結果

リサーチクエスチョン

• RQ1 メイクを媒体として用いることで、実世界の物理的展開において、目に見えずかつ転送可能な敵対的攻撃を実現できるか？
• RQ2 提案されたメタラーニング戦略は、多様なブラックボックス顔認識モデル間での転送性をどのように向上させるか？
• RQ3 メイクブレンド戦略は、敵対的顔の自然さと視覚的忠実度をどの程度向上させるか？
• RQ4 Adv-Glasses や Adv-Hat などの既存の物理的攻撃と比較して、Adv-Makeup は視覚的不顕著性と攻撃成功率の両面で優れているか？
• RQ5 この手法は、商用の閉鎖型顔認識プラットフォームに対しても高い攻撃成功率を達成できるか？

主な発見

• Adv-Makeup は、テストされたすべてのブラックボックス被害者モデルにおいて最高の攻撃成功率を達成し、転送性において顕著に従来手法を上回っている。
• LFW およびメイクデータセットにおいて、Adv-Makeup は、定性的および定量的比較を通じて、最高の視覚的自然さを持つ敵対的顔を生成している。
• 物理的攻撃において、姿勢の変化に対しても高い成功率を維持しており、現実世界の条件に強いことを示している。
• Face++ や Microsoft Azure などの商用プラットフォームにおいて、厳格な信頼度しきい値制約下でも、攻撃成功率が90％以上に達している。
• 視覚的比較により、Adv-Makeup が生成するアイシャドウが、自然なメイクと最も区別がつかず、最小限で現実的な変更であることが確認された。
• 事例研究により、Adv-Makeup が物理的タトゥーパステュアを用いた実世界での展開においても有効であることが確認され、デジタルシミュレーションをはるかに超えた実用性が裏付けられた。