[논문 리뷰] FaceHack: Triggering backdoored facial recognition systems using facial characteristics

Esha Sarkar, Hadjer Benkraouda외 1명|arXiv (Cornell University)|2020. 06. 20.

Face recognition and analysis인용 수 9

한 줄 요약

이 논문은 얼굴 인식 시스템에 대한 새로운 백도어 공격인 FaceHack를 소개한다. 이 공격는 표정, 필터, 근육 운동과 같은 자연적이고 인위적인 얼굴 특징을 대규모이자 맥락적으로 인식되지 않는 트리거로 활용한다. 기존의 작은 정적 트리거와는 달리, 이러한 동적이고 이미지 전반에 걸친 수정은 최신 방어 기법을 회피하면서도 높은 공격 성공률과 모델 정확도를 유지한다.

ABSTRACT

Recent advances in Machine Learning (ML) have opened up new avenues for its extensive use in real-world applications. Facial recognition, specifically, is used from simple friend suggestions in social-media platforms to critical security applications for biometric validation in automated immigration at airports. Considering these scenarios, security vulnerabilities to such ML algorithms pose serious threats with severe outcomes. Recent work demonstrated that Deep Neural Networks (DNNs), typically used in facial recognition systems, are susceptible to backdoor attacks; in other words,the DNNs turn malicious in the presence of a unique trigger. Adhering to common characteristics for being unnoticeable, an ideal trigger is small, localized, and typically not a part of the main im-age. Therefore, detection mechanisms have focused on detecting these distinct trigger-based outliers statistically or through their reconstruction. In this work, we demonstrate that specific changes to facial characteristics may also be used to trigger malicious behavior in an ML model. The changes in the facial attributes maybe embedded artificially using social-media filters or introduced naturally using movements in facial muscles. By construction, our triggers are large, adaptive to the input, and spread over the entire image. We evaluate the success of the attack and validate that it does not interfere with the performance criteria of the model. We also substantiate the undetectability of our triggers by exhaustively testing them with state-of-the-art defenses.

연구 동기 및 목표

• 얼굴 특징을 트리거로 사용하는 백도어 공격에 대해 얼굴 인식 시스템의 취약성을 조사한다.
• 크기가 크고 적응형이며 맥락적으로 은폐된 트리거를 개발하여 전통적인 탐지 방법으로는 인식되지 않도록 한다.
• 이러한 트리거가 최신 백도어 방어 기법을 회피하는 데 얼마나 효과적인지 평가한다.
• 자연적 또는 인위적으로 얼굴 특징을 조작하여 모델 성능 저하 없이 악성 행동을 유도할 수 있음을 보여준다.
• 백도어 공격에 있어 작은 국소적 트리거만 사용할 수 있다는 가정을 도전하며, 대규모 분산형 트리거도 동일하게 효과적이며 탐지되지 않음을 보여준다.

제안 방법

• 표현, 메이크업, 소셜 미디어 필터와 같은 얼굴 특징을 기반으로 트리거를 설계한다. 이는 입력 이미지에 자연스럽거나 인위적으로 적용된다.
• 표준 얼굴 인식 데이터셋으로 훈련된 딥 네ural 네트워크(DNN)를 사용하고, 얼굴 특징 기반 트리거로 훈련 데이터를 수정하여 백도어를 삽입한다.
• 자연스러운 얼굴 변형과 이미지 유사도 측정 기준(pHash, dHash)을 활용하여 트리거가 대규모(최소 약 77% 이미지 영역)이면서 맥락적으로 인식되지 않도록 확보한다.
• 청결한 데이터에 대해 높은 분류 정확도를 유지하면서도, 트리거가 삽입된 샘플에 대해 높은 공격 성공률(ASR)을 달성하도록 모델을 훈련한다.
• 신경 청소, STRIP, ABS, NNoculation 등 최신 방어 기법을 다양한 방식으로 평가하며, 인위적 및 자연적 트리거를 모두 사용한다.
• 악성 샘플에 대해 최전단 레이어의 뉴런 활성화 패턴을 분석하여 백도어 동작을 유도하는 데 여러 뉴런이 동시에 활성화됨을 확인함으로써 복잡하고 비단순적인 트리거 작동 방식임을 입증한다.

실험 결과

연구 질문

• RQ1 표정이나 메이크업과 같은 얼굴 특징이 얼굴 인식 시스템에 대한 백도어 공격에서 효과적이고 대규모 트리거로 사용될 수 있는가?
• RQ2 이러한 얼굴 특징 기반 트리거가 기존 최신 백도어 방어 기법에 의해 얼마나 잘 회피되는가?
• RQ3 자연적 또는 인위적 얼굴 수정을 사용할 경우, 기존의 작은 정적 트리거와 비교해 공격 성공률와 모델 정확도에 어떤 영향을 미치는가?
• RQ4 전체 얼굴에 분포되어 맥락적으로 은폐된 트리거도 여전히 DNN에서 악성 행동을 유도하는 데 효과적인가?
• RQ5 대규모이자 적응형이며 맥락적으로 인식되지 않는 얼굴 트리거에 직면했을 때 현재 방어 기법의 한계는 무엇인가?

주요 결과

• 제안된 얼굴 특징 기반 트리거는 모든 평가된 모델에서 공격 성공률(ASR)이 95% 이상을 기록하며, 트리거가 크고 맥락적으로 은폐되어 있더라도 효과를 발휘한다.
• pHash 및 dHash 유사도 점수는 인위적 트리거가 원본 이미지와 시각적으로 거의 차이가 없음을 확인하며, 최소한의 시각적 차이를 보임을 시사한다.
• 자연적 트리거(예: 얼굴 표정, 근육 운동)는 본질적으로 인식되지 않으며, 외부 조작 없이도 효과를 발휘한다.
• 모든 평가된 최신 방어 기법—Neural Cleanse, STRIP, ABS, NNoculation—은 얼굴 특징 기반 트리거에 의해 유도된 백도어 행동을 탐지하거나 완화하지 못했다.
• 최전단 레이어의 활성화 분석 결과, 악성 샘플에 대해 뉴런 반응에 다수의 피크가 나타나, 백도어가 단일 뉴런에 의존하지 않음을 확인하여 탐지가 더 어려운 복잡한 트리거 작동 방식임을 입증한다.
• NNoculation은 첫 번째 단계에서 실패하였으며, 검증 데이터에 최대 60%의 노이즈를 적용한 후에도 ASR를 10% 이하로 억제하지 못하여, 이러한 대규모 적응형 트리거에 대해 방어 기법이 효과가 없음을 시사한다.