[논문 리뷰] Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems

Haoliang Li, Yufei Wang외 6명|arXiv (Cornell University)|2020. 09. 15.

Biometric Identification and Security참고 문헌 61인용 수 13

한 줄 요약

이 논문은 CMOS 센서의 롤링 셔터 메커니즘을 이용해 데이터 수집 중에 트리거를 주입하기 위해 조절된 LED 조명을 통해 물리적으로 생성된 색상 스트라이프 패턴을 사용하는 새로운 블랙박스 백도어 공격을 제안한다. 이 공격은 최소한의 가정 하에 시뮬레이션에서 최대 88%의 성공률과 물리적 환경에서 40%의 성공률을 기록하여 실제 얼굴 인식 시스템에 대한 실용적이고 은밀한 위협을 입증한다.

ABSTRACT

Deep neural networks (DNN) have shown great success in many computer vision applications. However, they are also known to be susceptible to backdoor attacks. When conducting backdoor attacks, most of the existing approaches assume that the targeted DNN is always available, and an attacker can always inject a specific pattern to the training data to further fine-tune the DNN model. However, in practice, such attack may not be feasible as the DNN model is encrypted and only available to the secure enclave. In this paper, we propose a novel black-box backdoor attack technique on face recognition systems, which can be conducted without the knowledge of the targeted DNN model. To be specific, we propose a backdoor attack with a novel color stripe pattern trigger, which can be generated by modulating LED in a specialized waveform. We also use an evolutionary computing strategy to optimize the waveform for backdoor attack. Our backdoor attack can be conducted in a very mild condition: 1) the adversary cannot manipulate the input in an unnatural way (e.g., injecting adversarial noise); 2) the adversary cannot access the training database; 3) the adversary has no knowledge of the training model as well as the training set used by the victim party. We show that the backdoor trigger can be quite effective, where the attack success rate can be up to $88\%$ based on our simulation study and up to $40\%$ based on our physical-domain study by considering the task of face recognition and verification based on at most three-time attempts during authentication. Finally, we evaluate several state-of-the-art potential defenses towards backdoor attacks, and find that our attack can still be effective. We highlight that our study revealed a new physical backdoor attack, which calls for the attention of the security issue of the existing face recognition/verification techniques.

연구 동기 및 목표

• 모델, 학습 데이터, 학습 과정이 공격자에게 미리 알려지지 않은 상황에서 얼굴 인식 시스템에 대한 실용적인 백도어 공격의 격차를 해결하기 위해.
• 학습 데이터나 모델 아키텍처에 접근할 필요 없이 물리적으로 구현 가능하고 은밀한 백도어 트리거를 개발하기 위해.
• DNN 해석 기반으로 유도된 일반적인 시각적 특징(예: 색상, 에지 패턴)을 활용해 효과적이고 자연스러운 보기에 보이는 트리거를 만들기 위해.
• 반사 방지 메커니즘과 최신 방어 기법을 포함한 실제 환경 제약 조건 하에서 공격의 효과성을 평가하기 위해.
• 기존 방어 기법을 우회할 수 있으며, 얼굴 인식 시스템에 잠재적인 심각한 보안 취약성을 드러내기 위해.

제안 방법

• 공격은 인간의 눈에 보이지 않는 ON-OFF 키잉(OOK) 웨이브폼으로 조절된 LED 조명을 통해 생성된 색상 스트라이프 패턴 트리거를 사용한다.
• CMOS 센서의 롤링 셔터 메커니즘을 이용해 이미지 촬영 중에 트리거를 주입한다. 이 메커니즘은 픽셀을 선단별로 샘플링하기 때문에 시간적 변조가 캡처된 이미지에서 공간적 스트라이프로 나타난다.
• 물리적 제약 조건 하에서 최대한의 백도어 성공률을 확보하기 위해 유전자 계산 전략을 활용해 LED 웨이브폼을 최적화한다.
• 공격은 블랙박스 설정에서 수행된다: 공격자는 모델, 학습 데이터, 학습 과정에 접근할 수 없으며, 악성 노이즈나 오염된 데이터를 직접 주입할 수도 없다.
• ImageNet에서 학습된 DNN과 얼굴 인식을 위해 파생된 모델 간에 공통적으로 공유되는 지식(예: 색상, 에지 검출)을 활용함으로써, 트리거가 다양한 모델에 효과적으로 작용하도록 한다.
• 최신 DNN과 상용 얼굴 인식 시스템을 사용하여 시뮬레이션 및 물리적 환경에서 공격의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 모델, 학습 데이터, 학습 과정에 접근할 수 없는 상황에서 얼굴 인식 시스템에 백도어 트리거를 효과적으로 주입할 수 있는가?
• RQ2 조절된 LED 조명으로 생성된 물리적 색상 스트라이프 패턴이 은밀하고 효과적인 백도어 트리거로 기능할 수 있는가?
• RQ3 환경적 및 하드웨어적 제약 조건을 고려할 때, 공격이 실제 물리적 환경 구현에서 얼마나 성공할 수 있는가?
• RQ4 이미지 디스트립팅, 스펙트럼 분석, 모델 런딩과 같은 최신 방어 기법에 대해 공격의 효과는 어느 정도인가?
• RQ5 자연스러운 패턴을 띠는 트리거로 인해 얼굴 반사 방지 메커니즘이 효과적으로 작동하지 않을 수 있는가?

주요 결과

• 제안된 공격은 최신 DNN 모델을 대상으로 한 시뮬레이션 평가에서 88%의 성공률을 기록했다.
• 물리적 환경 실험에서는 최대 세 번의 인증 시도 이내에 40%의 성공률을 달성하여 실제 적용 가능성은 입증되었다.
• 이미지 디스트립팅(색상 스트라이프 이미지 기반 공격 성공률: 79.76%) 및 모델 런딩 기법을 포함한 몇 가지 최신 방어 기법에도 공격이 효과적으로 작용하였다.
• LED 웨이브폼의 유전자 최적화가 롤링 셔터 샘플링 하에서 트리거의 가시성을 향상시켜 공격 성공률을 크게 향상시켰다.
• 자연스러운 색상 스트라이프 패턴의 외관 덕분에 얼굴 반사 방지 메커니즘을 성공적으로 우회하였다. 이는 환경 조명의 변동성을 모방하기 때문이다.
• 본 연구는 특히 신뢰할 수 없는 환경에서 학습 데이터가 수집되는 경우, 얼굴 인식 시스템에 심각한 물리적 백도어 취약성을 드러냈다.