[논문 리뷰] Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition

Bangjie Yin, Wenxuan Wang외 6명|arXiv (Cornell University)|2021. 05. 07.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 13

한 줄 요약

Adv-Makeup는 작업 기반 메이크업 생성 및 블렌딩 모듈를 통해 자연스러운 아이섀도우를 생성함으로써 얼굴 인식 시스템에 대해 새로운 비침수성이고 이식 가능한 적대적 공격을 제안한다. 이는 디지털 및 물리적 환경 모두에서 블랙박스 모델, 특히 상용 플랫폼에서도 높은 공격 성공률를 달성하며, 기존 방법들에 비해 침투성과 이식성에서 뛰어나다.

ABSTRACT

Deep neural networks, particularly face recognition models, have been shown to be vulnerable to both digital and physical adversarial examples. However, existing adversarial examples against face recognition systems either lack transferability to black-box models, or fail to be implemented in practice. In this paper, we propose a unified adversarial face generation method - Adv-Makeup, which can realize imperceptible and transferable attack under black-box setting. Adv-Makeup develops a task-driven makeup generation method with the blending module to synthesize imperceptible eye shadow over the orbital region on faces. And to achieve transferability, Adv-Makeup implements a fine-grained meta-learning adversarial attack strategy to learn more general attack features from various models. Compared to existing techniques, sufficient visualization results demonstrate that Adv-Makeup is capable to generate much more imperceptible attacks under both digital and physical scenarios. Meanwhile, extensive quantitative experiments show that Adv-Makeup can significantly improve the attack success rate under black-box setting, even attacking commercial systems.

연구 동기 및 목표

• 실세계 응용에서 시각적으로 침투성이 있고 이식 가능한 실용적인 적대적 공격 방법을 개발하는 것.
• 기존 공격 방법들이 시각적으로 눈에 띄거나 블랙박스 모델로의 이식성이 떨어지는 한계를 해결하는 것.
• 메이크업을 매개로 하여 물리 세계에 적대적 예제를 구현함으로써 자연스러운 외관을 보장하는 것.
• 메타학습 전략을 통해 상용 블랙박스 얼굴 인식 시스템에서 공격 성공률를 향상시키는 것.

제안 방법

• 메이크업 생성 모듈은 얼굴의 눈꺼풀 부위에 실제적인 아이섀도우를 합성하여 시각적 자연스러움을 확보한다.
• 메이크업 블렌딩 전략은 원본 얼굴과 생성된 아이섀도우 간의 스타일과 콘텐츠를 정렬하여 정밀도와 침투성을 향상시킨다.
• 세부적인 메타학습 기반의 적대적 공격 전략을 도입하여 다양한 모델 간에 일반화된 공격 특징을 학습한다.
• 이 방법은 블랙박스 설정 하에서 침투성과 높은 공격 성공률를 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 디지털 및 물리적 시나리오 모두에서 평가되며, 실제 티투드 페스터 응용도 포함된다.
• Face++ 및 Microsoft Azure와 같은 상용 플랫폼을 포함한 여러 블랙박스 모델에서 공격이 테스트된다.

실험 결과

연구 질문

• RQ1 메이크업을 매개로 하여 실세계 물리적 구현에서 적대적 공격을 침투성이고 이식 가능하게 만들 수 있는가?
• RQ2 제안된 메타학습 전략은 다양한 블랙박스 얼굴 인식 모델 간의 이식성을 어떻게 향상시키는가?
• RQ3 메이크업 블렌딩 전략은 적대적 얼굴의 자연스러움과 시각적 정밀도를 어느 정도 향상시키는가?
• RQ4 Adv-Glasses 및 Adv-Hat과 같은 기존 물리적 공격 방법과 비교해 Adv-Makeup는 어떤가? 특히 외관의 은폐성과 공격 성공률 측면에서.
• RQ5 이 방법은 상용 폐쇄소스 얼굴 인식 플랫폼에서도 높은 공격 성공률를 달성할 수 있는가?

주요 결과

• Adv-Makeup는 테스트된 모든 블랙박스 피해자 모델에서 가장 높은 공격 성공률를 기록하며, 이식성 측면에서 기준 방법들에 비해 뚜렷이 뛰어나다.
• LFW 및 메이크업 데이터셋에서 Adv-Makeup는 정성적 및 정량적 비교를 통해 가장 높은 시각적 자연스러움을 가진 적대적 얼굴을 생성한다.
• 물리 세계 공격에서, Adv-Makeup는 자세 변화 조건에서도 높은 성공률를 유지하여 실제 환경 조건에 대한 강건성을 입증한다.
• Face++ 및 Microsoft Azure와 같은 상용 플랫폼에서 엄격한 신뢰도 임계값 제약 조건 하에서도 공격 성공률가 90% 이상을 기록한다.
• 시각적 비교 결과, Adv-Makeup가 생성한 아이섀도우는 자연스러운 메이크업과 가장 구분이 잘 되지 않으며, 미세하고 현실적인 변화를 보인다.
• 사례 연구를 통해 Adv-Makeup가 실제 물리적 티투드 페스트를 사용한 실세계 구현에서 효과적임을 확인하였으며, 디지털 시뮬레이션을 초월한 실현 가능성을 입증한다.