[論文レビュー] Adversarial Mask: Real-World Universal Adversarial Attack on Face Recognition Model

Alon Zolfi, Shai Avidan+2 more|arXiv (Cornell University)|Nov 21, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、実物の顔のマスクに印刷された物理的で普遍的な敵対的摂動（Adversarial Mask）を提案する。この手法は最先端の顔認識（FR）システムを回避する。勾配ベースの最適化を用いて、全員の顔を「未知」として誤分類するパターンを生成し、実世界のCCTV実験で96.66％の回避率を達成。ベースラインのマスクをすべて上回り、モデルやデータセット間での高い転送性を示した。

ABSTRACT

Deep learning-based facial recognition (FR) models have demonstrated state-of-the-art performance in the past few years, even when wearing protective medical face masks became commonplace during the COVID-19 pandemic. Given the outstanding performance of these models, the machine learning research community has shown increasing interest in challenging their robustness. Initially, researchers presented adversarial attacks in the digital domain, and later the attacks were transferred to the physical domain. However, in many cases, attacks in the physical domain are conspicuous, and thus may raise suspicion in real-world environments (e.g., airports). In this paper, we propose Adversarial Mask, a physical universal adversarial perturbation (UAP) against state-of-the-art FR models that is applied on face masks in the form of a carefully crafted pattern. In our experiments, we examined the transferability of our adversarial mask to a wide range of FR model architectures and datasets. In addition, we validated our adversarial mask's effectiveness in real-world experiments (CCTV use case) by printing the adversarial pattern on a fabric face mask. In these experiments, the FR system was only able to identify 3.34% of the participants wearing the mask (compared to a minimum of 83.34% with other evaluated masks). A demo of our experiments can be found at: https://youtu.be/_TXkDO5z11w.

研究の動機と目的

• 顔認識モデルに対する物理的かつ目立たない普遍的敵対的攻撃を、マスクを用いて実現すること。
• 自動監視（CCTV）環境下で、照明、角度、スケールの変化といった実世界の条件下でも攻撃の有効性を保証すること。
• 異なるFRモデルアーキテクチャおよびデータセット間での敵対的パターンの転送性を実証すること。
• 敵対的攻撃に対抗するための実用的対策として、敵対的訓練およびマスク置換を提案すること。

提案手法

• 敵対的パターンは、3D顔再構築上で、マスクを着用する全個人の分類信頼度を最小化する勾配ベースの最適化プロセスにより生成される。
• 完全に微分可能であるデジタルマスク法を導入し、頭の向きに関係なく任意の顔に正確にマスクを配置可能にすることで、強固な訓練と評価を可能にした。
• 物理世界での検証のため、紙と生地の両方のマスクに敵対的パターンを印刷し、印刷の制限を補うために色調補正を実施した。
• 動画ベースのCCTVシナリオにおける認識の信頼性を評価するため、7フレームの持続閾値と10フレームのスライディングウィンドウを用いた。
• 対策として、普遍的なマスクを着用した顔画像を用いた敵対的訓練と、推論時におけるマスク置換（例：青マスクに敵対的マスクを置き換える）を実施した。

実験結果

リサーチクエスチョン

• RQ1 実物の顔マスクに普遍的な敵対的摂動を物理的に実装し、実世界の監視環境で顔認識システムを回避できるか？
• RQ2 白ボックスおよびブラックボックス設定下で、異なるFRモデルアーキテクチャおよびデータセットにおいて、敵対的マスクの有効性はどの程度か？
• RQ3 印刷に起因する歪みを考慮しても、実際の生地および紙の表面に印刷された敵対的パターンが、高い回避性能を維持できるか？
• RQ4 自然な歩行状態下で、完全に自動化されたCCTVシステムにおいても敵対的マスクが検知を回避できるか？
• RQ5 訓練時または推論時に適用可能な、このような敵対的マスクの脅威を軽減する実用的対策は何か？

主な発見

• 物理的CCTV実験では、敵対的生地マスクが30名中29名の検出を回避し、認識率はわずか3.34％にまで低下した。
• 敵対的紙マスクは認識率が4.61％にとどまり、コントロールマスク（例：青マスク：53.04％）と比べ顕著に低かった。
• 敵対的マスクは強力な転送性を示し、白ボックスおよびブラックボックス設定下で、ArcFace や ResNet100 といった複数のFRモデルで高い回避性能を維持した。
• デジタルマスク法により、頭の向きに関係なく3D顔に正確かつ一貫したマスク配置が可能となり、敵対的訓練および評価の信頼性が向上した。
• マスク置換対策を適用した結果、1万枚の画像データセットで敵対的マスクの認識率が0.4％から65.5％に上昇し、実世界の推論における有効性が実証された。
• 敵対的パターンは視覚的に目立たず、パンデミック期におけるマスクの広範な使用に伴い、群衆に自然に溶け込むため、疑念を抱かれにくかった。