[論文レビュー] Adversarial Relighting Against Face Recognition

Qian Zhang, Qing Gao+4 more|arXiv (Cornell University)|Aug 18, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

本論文は、深層顔認識システムに対する新たな攻撃ベクトルとして、敵対的リライトを導入し、AQ-ARAおよびAP-ARAを提案することで、認識を欺く現実的で敵対的な照明条件を生成する。さらに、物理的環境への展開を可能にするPhy-ARAを用い、FaceNetにおいてコサイン類似度を0.71から0.31へ59%低下させることに成功し、現実の照明条件下における深刻な脆弱性を明らかにした。

ABSTRACT

Deep face recognition (FR) has achieved significantly high accuracy on several challenging datasets and fosters successful real-world applications, even showing high robustness to the illumination variation that is usually regarded as a main threat to the FR system. However, in the real world, illumination variation caused by diverse lighting conditions cannot be fully covered by the limited face dataset. In this paper, we study the threat of lighting against FR from a new angle, i.e., adversarial attack, and identify a new task, i.e., adversarial relighting. Given a face image, adversarial relighting aims to produce a naturally relighted counterpart while fooling the state-of-the-art deep FR methods. To this end, we first propose the physical modelbased adversarial relighting attack (ARA) denoted as albedoquotient-based adversarial relighting attack (AQ-ARA). It generates natural adversarial light under the physical lighting model and guidance of FR systems and synthesizes adversarially relighted face images. Moreover, we propose the auto-predictive adversarial relighting attack (AP-ARA) by training an adversarial relighting network (ARNet) to automatically predict the adversarial light in a one-step manner according to different input faces, allowing efficiency-sensitive applications. More importantly, we propose to transfer the above digital attacks to physical ARA (PhyARA) through a precise relighting device, making the estimated adversarial lighting condition reproducible in the real world. We validate our methods on three state-of-the-art deep FR methods, i.e., FaceNet, ArcFace, and CosFace, on two public datasets. The extensive and insightful results demonstrate our work can generate realistic adversarial relighted face images fooling face recognition tasks easily, revealing the threat of specific light directions and strengths.

研究の動機と目的

• 深層顔認識システムが照明変動に対して耐性があると想定されがちであるが、その照明に対する敵対的条件の脆弱性を調査すること。
• 自然に再照明された顔画像を生成しながら認識を回避する、新たなタスク「敵対的リライト攻撃（ARA）」を提案すること。
• 正確な再照明装置を用いて、デジタルの敵対的攻撃と物理的環境での展開を橋渡しすること。
• 複数の最先端の顔認識モデルおよびデータセットを用いて、敵対的リライトの有効性を評価すること。

提案手法

• 照明モデルと顔認識システムのフィードバックを用いて敵対的照明パラメータを最適化する、物理モデルに基づく敵対的リライト攻撃AQ-ARAを提案する。
• アルベド商モデルに基づく敵対的目的関数を定義し、自然に見える敵対的照明を生成すると同時に、認識失敗を最大化する。
• 入力顔から直接敵対的照明を予測する1ステップでエンドツーエンドの敵対的リライトネットワーク（ARNet）AP-ARAを導入し、効率性を向上させる。
• ロボットアームと正確な照明装置を用いて、デジタル攻撃を物理的ARA（Phy-ARA）に変換し、現実世界での検証を可能にする。
• 複数のFRモデルおよび照明条件における認識失敗を評価するために、コサイン類似度を主な指標として用いる。
• 照明マップの差分の3次元ヒストограмマッピングによる感度分析を実施し、認識を最も破壊する重要な照明方向を同定する。

実験結果

リサーチクエスチョン

• RQ1 物理的に妥当で現実的である敵対的照明条件を生成し、深層顔認識システムを欺くことは可能か？
• RQ2 FaceNet、ArcFace、CosFaceなどの最先端の顔認識モデルにおいて、敵対的リライトは認識精度をどの程度低下させるか？
• RQ3 デジタルの敵対的リライト攻撃は、現実世界で実際に再現可能で、認識性能に測定可能な影響を与えるか？
• RQ4 どの照明方向と強度が顔認識システムに対して最も感受性が高く、摂動の大きさに応じてどのように変化するか？
• RQ5 低解像度や遮蔽などの自然な画像劣化条件下でも、敵対的リライトはどの程度効果を保つのか？

主な発見

• AQ-ARAは基準画像においてコサイン類似度を0.8069から0.4068に低下させ、敵対的照明下での顕著な認識失敗を示した。
• 物理的攻撃（Phy-ARA）はFaceNetにおいて類似度を0.7099から0.5896に低下させたが、デジタル版のAQ-ARAでは0.3107まで低下し、現実世界での実現可能性を裏付けた。
• 感度分析により、顔の中央部および下部付近の照明源が認識を破壊するのに最も効果的であることが判明し、特に摂動レベルが高くなる（ε = 0.4およびε = 0.8）と顕著になった。
• AP-ARAは1ステップで敵対的照明予測を可能とし、リアルタイム性や効率性が求められる応用に適している。
• AQ-ARAが生成した敵対的照明は物理的再照明結果とよく一致しており、攻撃の現実性と再現可能性を検証した。
• ランダムな再照明は認識にほとんど影響を与えず、攻撃が一般の照明変動によるものではなく、標的的な敵対的照明設計によるものであることを確認した。