[논문 리뷰] RobFR: Benchmarking Adversarial Robustness on Face Recognition

Xiao Yang, Dingcheng Yang외 4명|arXiv (Cornell University)|2020. 07. 08.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 7

한 줄 요약

이 논문은 15개의 자연적 훈련 모델, 9종의 방어 방법, 2개의 상용 API를 사용하여 얼굴 인식에서의 적대적 강건성 평가를 위한 종합적 벤치마크인 RobFR를 소개한다. 랜드마크 유도 컷아웃(LGC) 공격을 제안하여 블랙박스 전이성(transferability)을 향상시키며, 경량 모델은 매우 취약한 반면, 적대적 훈련은 정확도와 훈련 효율성의 손실을 감수하면서도 강력한 강건성을 제공함을 발견하였다.

ABSTRACT

Face recognition (FR) has recently made substantial progress and achieved high accuracy on standard benchmarks. However, it has raised security concerns in enormous FR applications because deep CNNs are unusually vulnerable to adversarial examples, and it is still lack of a comprehensive robustness evaluation before a FR model is deployed in safety-critical scenarios. To facilitate a better understanding of the adversarial vulnerability on FR, we develop an adversarial robustness evaluation library on FR named extbf{RobFR}, which serves as a reference for evaluating the robustness of downstream tasks. Specifically, RobFR involves 15 popular naturally trained FR models, 9 models with representative defense mechanisms and 2 commercial FR API services, to perform the robustness evaluation by using various adversarial attacks as an important surrogate. The evaluations are conducted under diverse adversarial settings in terms of dodging and impersonation, $\ell_2$ and $\ell_\infty$, as well as white-box and black-box attacks. We further propose a landmark-guided cutout (LGC) attack method to improve the transferability of adversarial examples for black-box attacks by considering the special characteristics of FR. Based on large-scale evaluations, the commercial FR API services fail to exhibit acceptable performance on robustness evaluation, and we also draw several important conclusions for understanding the adversarial robustness of FR models and providing insights for the design of robust FR models. RobFR is open-source and maintains all extendable modules, i.e., \emph{Datasets}, \emph{FR Models}, \emph{Attacks\&Defenses}, and \emph{Evaluations} at \url{https://github.com/ShawnXYang/Face-Robustness-Benchmark}, which will be continuously updated to promote future research on robust FR.

연구 동기 및 목표

• 안전 기반 응용 분야에서 얼굴 인식 모델의 종합적인 적대적 강건성 평가 부족 문제를 해결하기 위해.
• 다양한 얼굴 인식 모델, 방어 방법, 공격 설정 간 강건성 비교를 위한 표준화된 벤치마크를 구축하기 위해.
• 특히 블랙박스 설정에서 적대적 예제의 전이성(transferability)을 조사하기 위해.
• 적대적 훈련 및 입력 변환과 같은 다양한 방어 메커니즘의 효과를 얼굴 인식 모델에 대해 평가하기 위해.
• 아키텍처, 손실 함수, 편향 노름(norm)의 영향을 분석함으로써 더 강건한 얼굴 인식 시스템 설계에 실질적인 통찰을 제공하기 위해.

제안 방법

• 모듈러 구조를 가진 오픈소스 벤치마킹 라이브러리인 RobFR를 개발하여 데이터셋, 얼굴 인식 모델, 공격 및 방어, 평가 기능을 포함한다.
• ℓ₂ 및 ℓ∞ 노름 하에서 화이트박스 및 블랙박스 공격 설정에서 15개의 자연적 훈련 모델과 9개의 방어 모델을 평가하였다.
• 얼굴 랜드마크 정보를 활용하여 블랙박스 공격에서 전이성을 향상시키는 랜드마크 유도 컷아웃(LGC) 공격을 제안하였다.
• LFW, YTF, CFP-FP, MegaFace 등 여러 데이터셋을 대상으로 공격 성공률(ASR), 강건성 곡선, 전이 기반 ASR을 핵심 평가 지표로 사용하였다.
• 도피 및 위장 공격 시나리오를 대상으로 대규모 실험을 수행하여 다양한 위협 모델 하에서 모델의 취약성을 평가하였다.
• 블랙박스 설정에서는 100회 반복을 가지는 반복적 공격(예: BIM, MIM)을 적용하고, 고정된 편향 예산(ε=8 for ℓ∞, ε=4 for ℓ₂)을 설정하였다.

실험 결과

연구 질문

• RQ1 다양한 공격 설정 하에서 다양한 얼굴 인식 모델의 적대적 강건성은 어떻게 변화하는가?
• RQ2 적대적 훈련 및 입력 변환과 같은 방어 기법이 얼굴 인식에서 강건성을 얼마나 향상시키는가?
• RQ3 모델 아키텍처는 블랙박스 공격에서 적대적 예제의 전이성에 어떤 영향을 미치는가?
• RQ4 랜드마크 인식 사전 지식을 활용하면 얼굴 인식 작업에서 적대적 예제의 전이성이 향상되는가?
• RQ5 다양한 손실 함수(예: 마진 기반 vs. 트리플릿 손실)는 적대적 강건성과 전이성에 어떤 영향을 미치는가?

주요 결과

• 상용 FR API 서비스는 특히 블랙박스 설정에서 적대적 공격 하에서도 높은 정확도를 유지하지 못해 낮은 강건성을 보였다.
• MobileNet 및 ShuffleNet과 같은 경량 모델은 모든 공격 유형과 노름에서 무거운 아키텍처보다 일관되게 더 취약하였다.
• 적대적 훈련(AT)은 방어 방법 중에서 가장 강력한 강건성을 제공했지만, 자연 정확도를 낮추고 높은 훈련 비용을 수반하였다.
• 각도 마진 손실(예: ArcFace, CosFace)로 훈련된 모델들은 상호 전이성이 있었고, 유클리드 공간에서 트리플릿 손실로 훈련된 FaceNet은 전이하기 가장 어려웠다.
• 제안된 LGC 공격은 FGSM, BIM, MIM과 같은 표준 공격보다 랜드마크 사전 지식을 활용하여 전이성을 크게 향상시켰다.
• LFW, YTF, CFP-FP, MegaFace 등 여러 데이터셋에서 강건성 추세가 일관되었으며, 이는 발견의 일반화 가능성(Generalizability)을 시사한다.