[논문 리뷰] Controllable Evaluation and Generation of Physical Adversarial Patch on Face Recognition

Xiao Yang, Yinpeng Dong외 4명|arXiv (Cornell University)|2022. 03. 09.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 3D 얼굴 모델링 기반 시뮬레이션 프레임워크를 사용하여 얼굴 인식 시스템에 물리적으로 강건한 적대적 패치를 생성하는 Face3DAdv를 제안한다. 자세, 조명, 시점 등의 실제 3D 얼굴 변형을 시뮬레이션함으로써, 화이트박스 및_BLK박스 설정에서 시뮬레이션 및 실제 물리적 공격 모두에서 높은 성공률을 달성하는 재현 가능한 평가가 가능해지고, 이는 물리적 공격의 성공률을 크게 향상시킨다.

ABSTRACT

Recent studies have revealed the vulnerability of face recognition models against physical adversarial patches, which raises security concerns about the deployed face recognition systems. However, it is still challenging to ensure the reproducibility for most attack algorithms under complex physical conditions, which leads to the lack of a systematic evaluation of the existing methods. It is therefore imperative to develop a framework that can enable a comprehensive evaluation of the vulnerability of face recognition in the physical world. To this end, we propose to simulate the complex transformations of faces in the physical world via 3D-face modeling, which serves as a digital counterpart of physical faces. The generic framework allows us to control different face variations and physical conditions to conduct reproducible evaluations comprehensively. With this digital simulator, we further propose a Face3DAdv method considering the 3D face transformations and realistic physical variations. Extensive experiments validate that Face3DAdv can significantly improve the effectiveness of diverse physically realizable adversarial patches in both simulated and physical environments, against various white-box and black-box face recognition models.

연구 동기 및 목표

• 얼굴 인식 시스템에 대한 물리적 적대적 공격의 재현 가능하고 체계적인 평가 부족 문제를 해결하기 위해.
• 기존의 2D 기반 적대적 공격 방법이 복잡한 3D 얼굴 변형과 물리적 변형을 모델링하지 못하는 한계를 극복하기 위해.
• 다양한 물리적 조건에서 제어 가능하고 사진처럼 사실적인, 재현 가능한 적대적 패치 테스트를 가능하게 하는 시뮬레이션 프레임워크를 개발하기 위해.
• 3D 얼굴 모델링을 활용하여 보다 현실적이고 강건한 적대적 패치를 생성할 수 있도록 텍스처 기반의 적대적 공격 방법(Face3DAdv)을 설계하기 위해.
• 제안된 방법의 효과성과 전이 가능성(transferability)을 시뮬레이션 및 실제 물리적 환경 모두에서 검증하기 위해.

제안 방법

• 단일 2D 이미지에서 3D 얼굴 기하학, 텍스처, 시점, 조명을 합성하기 위해 3D 얼굴 생성기를 활용한다.
• 3D 얼굴 표면에 패치를 통합하는 텍스처 기반의 적대적 공격 파ragram을 도입하여 곡면 얼굴 부위에 현실적인 패치 배치를 가능하게 한다.
• 자세, 조명, 시점과 같은 제어된 물리적 변형 조건 하에서 3D 적대적 얼굴를 2D 이미지로 투영하기 위해 미분 가능 렌더러를 사용한다.
• 물리적 조건 하에서 공격 성공률를 극대화하는 변형을 우선순위로 삼기 위해 최적화 과정에서 중요도 샘플링을 적용한다.
• 3D에서 2D로의 투영을 통해 역전파를 엔드 투 엔드로 가능하게 하기 위해, 다양한 기반의 렌더링 파이프라인을 통합한다.
• 실제 물리적 조건을 반영한 시뮬레이션 프레임워크를 통합하여, 적대적 패치 성능의 일관된 평가 및 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 얼굴 시뮬레이션 프레임워크는 얼굴 인식에 대한 물리적 적대적 패치의 재현 가능하고 종합적인 평가를 가능하게 하는가?
• RQ2 자세, 조명, 시점 등의 3D 얼굴 변형을 모델링함으로써 2D 기반 방법에 비해 적대적 패치의 강건성과 전이 가능성은 어떻게 향상되는가?
• RQ3 제안된 Face3DAdv 방법은 시뮬레이션 및 실제 물리적 환경 모두에서 기존의 물리적 공격 기반(예: GenAP, AdvHat)을 얼마나 뛰어나게 하는가?
• RQ4 깊이 맵을 유지하는 텍스처 기반의 적대적 패치는 블랙박스 전이성을 통해 3D 얼굴 인식 모델을 효과적으로 공격할 수 있는가?
• RQ5 최적화 과정에서의 중요도 샘플링 전략은 다양한 물리적 변형 조건 하에서 적대적 패치의 효과성을 어떻게 향상시키는가?

주요 결과

• 실제 실험에서 Face3DAdv는 CosFace에서 기울기 변화 시 64.62%의 물리적 공격 성공률, 좌우 기울기 변화 시 69.37%, 조명 변화 시 72.40%를 기록하며, GenAP(42.43%, 53.50%, 57.70%)를 뛰어넘는 성능을 보였다.
• 공격 설정에서 물리적 변형 없이도 64.62%의 높은 성능 유지를 기록하여, 강력한 내재적 강건성을 입증하였다.
• Face3DAdv는 뛰어난 블랙박스 전이성을 보이며, 미리 보지 않은 모델을 공격할 때 기존 기반 방법보다 높은 성공률를 기록하였다.
• 중요도 샘플링 전략은 최적화 과정에서 유리한 물리적 변형을 더 효과적으로 탐색할 수 있도록 하여 공격 성공률를 향상시켰다.
• RGBD-FR 등의 3D 얼굴 인식 모델을 블랙박스 전이성을 통해 성공적으로 공격하여, 2D 인식 시스템을 넘어서는 효과성을 확인하였다.
• 물리적 실험 결과 시뮬레이션과 실제 환경 간 일관된 성능을 보이며, 시뮬레이터가 실제 물리적 조건을 잘 근사하고 있음을 검증하였다.