[논문 리뷰] Dangerous Cloaking: Natural Trigger based Backdoor Attacks on Object Detectors in the Physical World

Hua Ma, Yinshan Li외 8명|arXiv (Cornell University)|2022. 01. 21.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 논문은 T셔츠나 모자와 같은 일상적인 물체를 트리거로 사용하여 물체 검출기에서 물리적 백도어 공격을 제안한다. 이 공격은 트리거 물체를 지닌 사람이 탐지에서 사라지는 '클로킹' 효과를 유도하며, 다양한 실제 환경 조건에서도 거의 완벽한 성공률(최대 100%)을 달성하고 표준 검증을 통과하지 못해 감지되지 않아, 구현된 시각 시스템에서 심각한 보안 위험을 드러낸다.

ABSTRACT

Deep learning models have been shown to be vulnerable to recent backdoor attacks. A backdoored model behaves normally for inputs containing no attacker-secretly-chosen trigger and maliciously for inputs with the trigger. To date, backdoor attacks and countermeasures mainly focus on image classification tasks. And most of them are implemented in the digital world with digital triggers. Besides the classification tasks, object detection systems are also considered as one of the basic foundations of computer vision tasks. However, there is no investigation and understanding of the backdoor vulnerability of the object detector, even in the digital world with digital triggers. For the first time, this work demonstrates that existing object detectors are inherently susceptible to physical backdoor attacks. We use a natural T-shirt bought from a market as a trigger to enable the cloaking effect--the person bounding-box disappears in front of the object detector. We show that such a backdoor can be implanted from two exploitable attack scenarios into the object detector, which is outsourced or fine-tuned through a pretrained model. We have extensively evaluated three popular object detection algorithms: anchor-based Yolo-V3, Yolo-V4, and anchor-free CenterNet. Building upon 19 videos shot in real-world scenes, we confirm that the backdoor attack is robust against various factors: movement, distance, angle, non-rigid deformation, and lighting. Specifically, the attack success rate (ASR) in most videos is 100% or close to it, while the clean data accuracy of the backdoored model is the same as its clean counterpart. The latter implies that it is infeasible to detect the backdoor behavior merely through a validation set. The averaged ASR still remains sufficiently high to be 78% in the transfer learning attack scenarios evaluated on CenterNet. See the demo video on https://youtu.be/Q3HOF4OobbY.

연구 동기 및 목표

• 일상적인 물체를 트리거로 사용하는 물리적 백도어 공격에 대한 물체 검출기의 취약성을 조사하는 것.
• 트리거 물체를 지닌 사람이 모델에 의해 탐지되지 않는 '클로킹' 백도어 효과의 실현 가능성을 입증하는 것.
• 이동, 조도, 거리, 시야각과 같은 실제 환경 변화에서 이러한 공격의 강건성을 평가하는 것.
• 모델 외주 및 피니터닝 시나리오에서의 공격 벡터를 탐색하는 것.
• 물체 검출기 백도어에 대한 기존 방어 조치의 부재를 강조하고, 새로운 효율적인 대응 조치의 필요성을 제기하는 것.

제안 방법

• 공격은 상용으로 구매한 T셔츠나 모자와 같은 일상적인 물체를 물리적 트리거로 사용하여 물체 검출기에 백도어를 삽입한다.
• 트리거 물체가 타겟 인스턴스(예: 사람)에 부착된 훈련 데이터를 통해 데이터 풀링을 통해 백도어를 훈련시킨다.
• 표준 데이터 풀링에 저항하는 이단계 검출기인 Faster R-CNN와 같은 모델의 경우, 성공적인 백도어 삽입을 위해 구조적 훈련 규칙을 도입한다.
• YOLO-V3, YOLO-V4, Faster R-CNN, CenterNet의 네 가지 물체 검출기에서 평가하며, 약 11,800 프레임의 19개 실제 영상 시퀀스를 사용한다.
• 저조도, 장거리 등 특정 어려운 조건에서의 추가 훈련 샘플을 조정하여 강건성을 향상시킨다.
• 피니터링과 프루닝은 잠재적 방어 조치로 탐색되었지만, 실용적 사용에 있어 계산 비용이 높다고 판단된다.

실험 결과

연구 질문

• RQ1 일상적인 물체가 물체 검출기에서 효과적인 물리적 트리거로 사용될 수 있는가?
• RQ2 이동, 거리, 조도, 카메라 각도와 같은 실제 환경 변화에서 클로킹 백도어 공격의 강건성은 어떠한가?
• RQ3 Faster R-CNN과 같은 이단계 검출기들이 표준 데이터 풀링에 저항하는 이유는 무엇이며, 이를 어떻게 극복할 수 있는가?
• RQ4 백도어는 모델 외주 및 피니터닝 시나리오에서 삽입되고 유지될 수 있는가?
• RQ5 기존의 백도어 방어 메커니즘은 이러한 백도어 공격으로부터 물체 검출기를 보호하는 데 어떤 한계를 지니는가?

주요 결과

• 클로킹 백도어 공격은 대부분의 실제 영상 시퀀스에서 100%의 공격 성공률를 기록하며, 장거리나 비정적 변형과 같은 극한 조건에서도 유지된다.
• 전이 학습 시나리오에서 CenterNet을 평가한 결과, 성공률가 여전히 높게 유지(78%)되어 강력한 일반화 능력을 보였다.
• 백도어가 삽입된 모델은 원본 모델과 동일한 정확도를 유지하여 표준 검증 세트를 통한 감지가 불가능하다.
• 이단계 검출기인 Faster R-CNN는 표준 데이터 풀링에 저항하지만, 특수하게 설계된 훈련 규칙을 통해 성공적으로 백도어가 삽입될 수 있다.
• 백도어가 삽입된 모델을 피니터링하면 공격 성공률가 감소하므로, 이는 잠재적인 완화 경로로 고려될 수 있으나 계산 비용이 높다.
• 현재 존재하는 백도어 방어 메커니즘은 물체 검출기용으로 직접 적용되지 않으며, 새로운 효율적이고 사용자 우량한 방어 조치의 긴급한 필요성을 드러낸다.