[논문 리뷰] Backdoor Attacks on Facial Recognition in the Physical World

Emily Wenger, Josephine Passananti외 3명|arXiv (Cornell University)|2020. 06. 25.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 24

한 줄 요약

이 논문은 실제 액세서리들을 트리거로 사용하여 얼굴 인식 시스템에 물리적 백도어 공격을 수행할 수 있는지의 가능성을 조사한다. 실제 트리거는 디지털 트리거에 비해 효과가 떨어지고 잘못된 경고가 더 자주 발생하지만, 기존 방어 기법들이 물리적 환경에서는 성립하지 않는 가정에 의존하기 때문에 여전히 심각한 위협으로 남아 있다.

ABSTRACT

Backdoor attacks embed hidden malicious behaviors inside deep neural networks (DNNs) that are only activated when a specific is present on some input to the model. A variety of these attacks have been successfully proposed and evaluated, generally using digitally generated patterns or images as triggers. Despite significant prior work on the topic, a key question remains unanswered: can backdoor attacks be physically realized in the real world, and what limitations do attackers face in executing them? In this paper, we present results of a detailed study on DNN backdoor attacks in the physical world, specifically focused on the task of facial recognition. We take 3205 photographs of 10 volunteers in a variety of settings and backgrounds and train a facial recognition model using transfer learning from VGGFace. We evaluate the effectiveness of 9 accessories as potential triggers, and analyze impact from external factors such as lighting and image quality. First, we find that triggers vary significantly in efficacy and a key factor is that facial recognition models are heavily tuned to features on the face and less so to features around the periphery. Second, the efficacy of most trigger objects is. negatively impacted by lower image quality but unaffected by lighting. Third, most triggers suffer from false positives, where non-trigger objects unintentionally activate the backdoor. Finally, we evaluate 4 backdoor defenses against physical backdoors. We show that they all perform poorly because physical triggers break key assumptions they made based on triggers in the digital domain. Our key takeaway is that implementing physical backdoors is much more challenging than described in literature for both attackers and defenders and much more work is necessary to understand how backdoors work in the real world.

연구 동기 및 목표

• 실세계에서 물리적 트리거를 사용한 얼굴 인식 시스템에 대한 백도어 공격의 실현 가능성을 평가하기 위해.
• 조명 조건과 이미지 품질과 같은 환경적 요인이 트리거 효율성에 미치는 영향을 평가하기 위해.
• 기존의 백도어 방어 기법이 물리적 트리거에 대해 어떻게 작동하는지 분석하기 위해.
• 공격자와 방어자가 물리적 백도어를 구현하고 탐지할 때 겪는 주요 제약 조건을 규명하기 위해.

제안 방법

• 다양한 설정과 배경에서 10명의 자원자로부터 3,205장의 실세계 얼굴 이미지를 수집하였다.
• 수집된 데이터셋을 기반으로 VGGFace에서 전이 학습을 이용해 얼굴 인식 모델을 훈련시켰다.
• 9종의 물리적 액세서리를 잠재적 트리거로 평가하여, 다양한 조명 조건과 이미지 품질에서의 성공률을 테스트하였다.
• 다양한 물리적 트리거 물체에 대해 백도어 성공률 및 잘못된 경고 비율을 측정하였다.
• 물리적 트리거에 대한 강건성을 평가하기 위해 기존의 네 가지 백도어 방어 기법을 평가하였다.
• 모델이 얼굴 특징에 비해 주변 특징에 얼마나 민감한지 분석하여 트리거 효율성의 변동 원인을 설명하였다.

실험 결과

연구 질문

• RQ1 실세계 얼굴 인식 시스템에서 물리적 트리거가 백도어를 성공적으로 활성화할 수 있는가?
• RQ2 조명 조건과 이미지 품질은 물리적 트리거의 성공률에 어떤 영향을 미치는가?
• RQ3 비트리거 물체가 존재할 경우 물리적 트리거가 잘못된 경고를 얼마나 자주 유발하는가?
• RQ4 기존의 디지털 영역 백도어 방어 기법이 물리적 트리거에 적용되었을 때 실패하는 이유는 무엇인가?
• RQ5 얼굴 특징의 국소화와 주변 특징에 대한 민감도는 트리거 효율성에 어떤 역할을 하는가?

주요 결과

• 물리적 트리거는 디지털 트리거에 비해 현저히 효율성이 떨어지며, 다양한 액세서리 간에 효율성이 크게 달라진다.
• 얼굴 인식 모델은 얼굴의 특징보다 주변 특징에 더 민감하기 때문에, 얼굴 기반 트리거가 더 효과적이다.
• 낮은 이미지 품질은 트리거 효율성에 악영향을 미치지만, 조명 조건은 영향을 거의 미치지 않는다.
• 대부분의 물리적 트리거는 잘못된 경고 비율이 높아, 비트리거 물체가 의도치 않게 백도어를 활성화한다.
• 시험한 모든 백도어 방어 기법은 물리적 트리거에 실패한다. 이는 물리적 환경에서는 성립하지 않는 가정에 기반하기 때문이다.
• 이 연구는 물리적 백도어가 이전에 예상한 것보다 더 구현하고 탐지하기 어려운 것으로 결론 내리며, 새로운 연구 접근이 필요하다고 제안한다.