[論文レビュー] RobFR: Benchmarking Adversarial Robustness on Face Recognition

Xiao Yang, Dingcheng Yang+4 more|arXiv (Cornell University)|Jul 8, 2020

Adversarial Robustness in Machine Learning参考文献 55被引用数 7

ひとこと要約

本稿では、15の自然に訓練されたモデル、9種類の防御手法、2つの商用APIを用いて、顔認識における敵対的頑健性を評価する包括的なベンチマーク「RobFR」を紹介する。ランドマークを活用したカットアウト（LGC）攻撃を提案し、ブラックボックス環境における転送性を向上させた。軽量モデルは著しく脆弱である一方、敵対的訓練（AT）は精度と学習効率のコストを伴うが、強力な頑健性を提供することがわかった。

ABSTRACT

Face recognition (FR) has recently made substantial progress and achieved high accuracy on standard benchmarks. However, it has raised security concerns in enormous FR applications because deep CNNs are unusually vulnerable to adversarial examples, and it is still lack of a comprehensive robustness evaluation before a FR model is deployed in safety-critical scenarios. To facilitate a better understanding of the adversarial vulnerability on FR, we develop an adversarial robustness evaluation library on FR named extbf{RobFR}, which serves as a reference for evaluating the robustness of downstream tasks. Specifically, RobFR involves 15 popular naturally trained FR models, 9 models with representative defense mechanisms and 2 commercial FR API services, to perform the robustness evaluation by using various adversarial attacks as an important surrogate. The evaluations are conducted under diverse adversarial settings in terms of dodging and impersonation, $\ell_2$ and $\ell_\infty$, as well as white-box and black-box attacks. We further propose a landmark-guided cutout (LGC) attack method to improve the transferability of adversarial examples for black-box attacks by considering the special characteristics of FR. Based on large-scale evaluations, the commercial FR API services fail to exhibit acceptable performance on robustness evaluation, and we also draw several important conclusions for understanding the adversarial robustness of FR models and providing insights for the design of robust FR models. RobFR is open-source and maintains all extendable modules, i.e., \emph{Datasets}, \emph{FR Models}, \emph{Attacks\&Defenses}, and \emph{Evaluations} at \url{https://github.com/ShawnXYang/Face-Robustness-Benchmark}, which will be continuously updated to promote future research on robust FR.

研究の動機と目的

• 安全な応用分野における顔認識モデルの包括的な敵対的頑健性評価の不足を解消すること。
• 多様な顔認識モデル、防御手法、攻撃設定を対象に、頑健性を比較可能な標準化されたベンチマークを確立すること。
• 特にブラックボックス環境下での顔認識における敵対的例の転送性を調査すること。
• 敵対的訓練や入力変換などのさまざまな防御メカニズムが顔認識モデルに与える有効性を評価すること。
• アーキテクチャ、損失関数、摂動ノルムの影響を分析することで、より頑健な顔認識システムの設計に役立つインサイトを提供すること。

提案手法

• モジュール構成（データセット、顔認識モデル、攻撃・防御、評価）を備えたオープンソースのベンチマークライブラリ「RobFR」を構築した。
• ℓ₂およびℓ∞ノルム下で、ホワイトボックスおよびブラックボックス攻撃設定において、15の自然に訓練された顔認識モデルと9つの防御モデルを評価した。
• 顔のランドマーク情報を利用したランドマークガイドドカットアウト（LGC）攻撃を提案し、ブラックボックス攻撃における転送性を向上させた。
• LFW、YTF、CFP-FP、MegaFaceを含む複数のデータセットを対象に、攻撃成功率（ASR）、頑健性曲線、および転送ベースのASRを主な評価指標とした。
• ドージングおよびスプーフィング攻撃シナリオを大規模に実験し、異なる脅威モデル下でのモデルの脆弱性を評価した。
• ブラックボックス設定では、100イタレーションの反復攻撃（例：BIM、MIM）を用い、固定された摂動予算（ℓ∞ではε=8、ℓ₂ではε=4）を設定した。

実験結果

リサーチクエスチョン

• RQ1 多様な攻撃設定下で、顔認識モデルの敵対的頑健性はどのように変動するか？
• RQ2 敵対的訓練や入力変換といった防御手法は、顔認識における頑健性をどの程度向上させるか？
• RQ3 モデルアーキテクチャは、ブラックボックス攻撃における敵対的例の転送性にどのように影響を与えるか？
• RQ4 ランドマークに依存する事前知識は、顔認識タスクにおける敵対的例の転送性を向上させることができるか？
• RQ5 マージンベースの損失関数と三重項損失（triplet loss）などの異なる損失関数は、敵対的頑健性と転送性にどのような影響を与えるか？

主な発見

• 商用FR APIサービスは敵対的攻撃下でも高い精度を維持できず、特にブラックボックス環境下で顕著に脆弱であった。
• MobileNet や ShuffleNet などの軽量モデルは、すべての攻撃タイプとノルムにおいて、重いアーキテクチャよりも一貫して脆弱であった。
• 敵対的訓練（AT）は防御手法の中で最も強い頑健性を示したが、自然な精度を低下させ、高い学習コストを伴った。
• アングルマージン損失（例：ArcFace、CosFace）で訓練されたモデルは互いに高い転送性を示したが、ユークリッド空間で三重項損失で訓練されたFaceNetは最も転送が困難であった。
• 提案されたLGC攻撃は、FGSM、BIM、MIMなどの標準的攻撃と比較して、顔のランドマーク事前知識を活用することで、顕著に転送性を向上させた。
• LFW、YTF、CFP-FP、MegaFaceの複数のデータセットで頑健性のトレンドが一貫しており、研究結果の一般化可能性が裏付けられた。