[論文レビュー] Controllable Evaluation and Generation of Physical Adversarial Patch on Face Recognition

Xiao Yang, Yinpeng Dong+4 more|arXiv (Cornell University)|Mar 9, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文では、3次元顔モデリングに基づくシミュレーションフレームワークを用いて、顔認識システムに対する物理的に頑健な adversarial パッチを生成する Face3DAdv という手法を提案する。ポーズ、照明、視点などの実際の3次元顔変換をシミュレートすることにより、フレームワークは再現可能で一貫した評価を可能にし、白ボックスおよびブラックボックス設定下で、シミュレート環境および現実世界の物理的攻撃において顕著に高い成功率を達成するパッチを生成する。

ABSTRACT

Recent studies have revealed the vulnerability of face recognition models against physical adversarial patches, which raises security concerns about the deployed face recognition systems. However, it is still challenging to ensure the reproducibility for most attack algorithms under complex physical conditions, which leads to the lack of a systematic evaluation of the existing methods. It is therefore imperative to develop a framework that can enable a comprehensive evaluation of the vulnerability of face recognition in the physical world. To this end, we propose to simulate the complex transformations of faces in the physical world via 3D-face modeling, which serves as a digital counterpart of physical faces. The generic framework allows us to control different face variations and physical conditions to conduct reproducible evaluations comprehensively. With this digital simulator, we further propose a Face3DAdv method considering the 3D face transformations and realistic physical variations. Extensive experiments validate that Face3DAdv can significantly improve the effectiveness of diverse physically realizable adversarial patches in both simulated and physical environments, against various white-box and black-box face recognition models.

研究の動機と目的

• 顔認識システムに対する物理的 adversarial 攻撃の再現可能で体系的な評価の欠如に対処すること。
• 従来の2次元ベースの adversarial 攻撃手法が複雑な3次元顔変換および物理的変動をモデル化できないという限界を克服すること。
• 多様な物理的条件下で制御可能で、写真のようにリアルな、再現可能な adversarial パッチのテストを可能にするシミュレーションフレームワークの開発。
• 3次元顔モデリングを活用してより現実的で頑健な adversarial パッチを生成できるテクスチャベースの adversarial 攻撃手法（Face3DAdv）の設計。
• 提案手法の有効性と転送性を、シミュレーション環境および現実世界の物理的環境の両方で検証すること。

提案手法

• 1枚の2次元画像から3次元顔の幾何学的形状、テクスチャ、視点、照明を合成する3次元顔ジェネレータを活用する。
• 3次元顔表面にパッチを埋め込むことで、曲面領域に現実的なパッチ配置を可能にする、テクスチャベースの adversarial 攻撃パラダイムを導入する。
• ポーズ、照明、視点などの制御された物理的変化のもとで、3次元 adversarial 顔を2次元画像に投影するための微分可能レンダラを採用する。
• 最適化中に、物理的条件下での攻撃成功確率を最大化する変換を優先するための重要度サンプリングを用いる。
• 3次元から2次元への投影を経由するバックプロパゲーションを可能にする微分可能レンダリングパイプラインを統合し、adversarial パッチの勾配ベース最適化を実現する。
• 現実世界の物理的条件を模倣するシミュレーションフレームワークを採用し、adversarial パッチの性能に対する一貫性のある評価とベンチマークが可能になる。

実験結果

リサーチクエスチョン

• RQ1 3次元顔シミュレーションフレームワークは、顔認識における物理的 adversarial パッチの再現可能で包括的な評価を可能にするか？
• RQ2 ポーズ、照明、視点などの3次元顔変換をモデル化することで、2次元ベースの手法と比較して adversarial パッチの頑健性と転送性がどのように向上するか？
• RQ3 提案手法 Face3DAdv は、シミュレーション環境および現実世界の物理的環境の両方で、既存の物理的攻撃ベースライン（例：GenAP、AdvHat）をどの程度上回るか？
• RQ4 深度マップを保持するテクスチャベースの adversarial パッチは、ブラックボックス転送性を活用して3次元顔認識モデルを効果的に攻撃できるか？
• RQ5 最適化中に重要度サンプリングを用いることで、多様な物理的変化下での adversarial パッチの有効性がどのように向上するか？

主な発見

• 実世界の実験において、Face3DAdv は CosFace に対してピッチ変化下で64.62%、ヨー変化下で69.37%、照明変化下で72.40%の物理的攻撃成功率を達成し、実世界の実験で GenAP（42.43%、53.50%、57.70%）を顕著に上回る。
• 攻撃設定で物理的変化がない場合でも、64.62%の高い性能を維持しており、内在的な頑健性が強いことを示している。
• Face3DAdv は優れたブラックボックス転送性を示し、未観測のモデルを攻撃する際、ベースライン手法よりも高い成功率を達成する。
• 重要度サンプリング戦略により、最適化中に有利な物理的変換の探索がより効果的に行われ、攻撃成功率が向上した。
• RGBD-FR などの3次元顔認識モデルに対しても、ブラックボックス転送性を活用して効果的に攻撃に成功し、2次元認識システムを超えた有効性が確認された。
• 物理的実験では、シミュレーションと現実世界のデプロイメントで一貫した性能を示し、シミュレータが現実の物理的条件を的確に近似できることを検証した。