[논문 리뷰] RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer

Xiaoliang Liu, Furao Shen외 2명|arXiv (Cornell University)|2022. 06. 25.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

RSTAM은 모바일 소형 프린터를 통해 인쇄된 적대적 마스크를 사용하여 얼굴 인식 시스템에 블랙박스 모의 공격을 수행한다. 랜덤 유사성 변환과 사전 훈련된 모델에 대한 랜덤 메타최적화를 활용하여 RSTAM은 높은 전이성(transferability)을 달성하여 Face++, Baidu, Tencent와 같은 상용 시스템에 대해 일부 경우 97% 이상의 신뢰도 점수를 기록하며 효과적인 물리적 공격을 가능하게 한다.

ABSTRACT

Face recognition has achieved considerable progress in recent years thanks to the development of deep neural networks, but it has recently been discovered that deep neural networks are vulnerable to adversarial examples. This means that face recognition models or systems based on deep neural networks are also susceptible to adversarial examples. However, the existing methods of attacking face recognition models or systems with adversarial examples can effectively complete white-box attacks but not black-box impersonation attacks, physical attacks, or convenient attacks, particularly on commercial face recognition systems. In this paper, we propose a new method to attack face recognition models or systems called RSTAM, which enables an effective black-box impersonation attack using an adversarial mask printed by a mobile and compact printer. First, RSTAM enhances the transferability of the adversarial masks through our proposed random similarity transformation strategy. Furthermore, we propose a random meta-optimization strategy for ensembling several pre-trained face models to generate more general adversarial masks. Finally, we conduct experiments on the CelebA-HQ, LFW, Makeup Transfer (MT), and CASIA-FaceV5 datasets. The performance of the attacks is also evaluated on state-of-the-art commercial face recognition systems: Face++, Baidu, Aliyun, Tencent, and Microsoft. Extensive experiments show that RSTAM can effectively perform black-box impersonation attacks on face recognition models or systems.

연구 동기 및 목표

• 상용 얼굴 인식 시스템에 대해 효과적이고 물리적이며 편리한 블랙박스 모의 공격의 격차를 보완하기 위해.
• 다양한 얼굴 인식 모델과 실제 환경 조건에서 적대적 마스크의 전이성을 향상시키기 위해.
• Canon SELPHY CP1300과 같은 저비용 이동식 인쇄 기술을 활용하여 실용적인 물리적 공격을 가능하게 하기 위해.
• 고품질 및 저품질 얼굴 이미지 모두에 대해 공격 성능을 평가하고, 실제 환경 구현 시나리오를 포함하기 위해.
• 현재 상용 얼굴 인식 시스템이 이러한 물리적 적대적 공격에 취약하다는 것을 입증하기 위해.

제안 방법

• 적대적 흐레이션을 위한 기초로 이진 마스크를 설계한다.
• 입력 다양성을 증가시키고 적대적 마스크의 전이성을 향상시키기 위해 랜덤 유사성 변환 전략을 도입한다.
• 다양한 사전 훈련된 얼굴 인식 모델을 앙상블하여 더 일반화된 적대적 마스크를 생성하기 위해 랜덤 메타최적화 전략을 제안한다.
• 실제 환경 구현을 위해 이동식이고 소형 프린터(Canon SELPHY CP1300)를 활용하여 적대적 마스크를 물리적으로 인쇄한다.
• 고해상도 및 저품질 얼굴 데이터셋(CelebA-HQ, LFW, MT, CASIA-FaceV5)에 대해 디지털 및 물리적 공격을 수행한다.
• 다섯 개인 상용 시스템(Face++, Baidu, Aliyun, Tencent, Microsoft)에서 공격 성능을 평가한다.

실험 결과

연구 질문

• RQ1 저비용 이동식 인쇄 기술을 사용하여 디지털 환경에서의 적대적 마스크를 물리적 환경으로 효과적으로 전이시킬 수 있는가?
• RQ2 랜덤 유사성 변환 전략은 블랙박스 환경에서 적대적 마스크의 전이성에 어떻게 기여하는가?
• RQ3 여러 사전 훈련된 모델에 대한 랜덤 메타최적화는 적대적 마스크의 일반화 및 강건성에 얼마나 기여하는가?
• RQ4 RSTAM은 실제 물리적 제약 조건 하에서 상용 얼굴 인식 시스템에 대해 높은 신뢰도의 모의 공격을 성공적으로 수행할 수 있는가?
• RQ5 실제 감시 또는 모바일 촬영 환경에서 흔히 발견되는 저품질 얼굴 이미지에 대해 RSTAM의 효과는 어떠한가?

주요 결과

• RSTAM^meta_2 방법을 사용하여 LFW 이미지에 대해 Tencent 얼굴 인식 시스템을 공격할 때 97% 이상의 신뢰도 점수를 기록했다.
• RSTAM^meta_∞ 및 RSTAM^meta_2 앙상블 방법은 얼굴 이미지 품질이 낮은 장거리 위치(위치 ④)에서도 높은 공격 성공률 유지를 보였다.
• Canon SELPHY CP1300 프린터를 사용한 물리적 공격가 디지털 공격과 유사하거나 略로 향상된 신뢰도 점수를 기록하여 강력한 물리적 실현 가능성(physical realizability)을 입증했다.
• 랜덤 유사성 변환의 초항수 β는 0.15에서 0.25 사이로 설정했을 때 가장 효과적이었으며, 민감도 분석 이외의 모든 실험에서 0.2를 사용했다.
• RSTAM은 Face++, Baidu, Aliyun, Tencent, Microsoft를 포함한 다섯 개의 상용 시스템에서 일관된 성능을 보여 상호 전이성의 광범위함을 확인했다.
• 공개된 소셜 네트워크에서 수집한 얼굴 이미지만을 사용하여도 RSTAM이 상용 시스템에 대해 블랙박스 모의 공격을 성공적으로 수행했다.