[논문 리뷰] Infrared Invisible Clothing:Hiding from Infrared Detectors at Multiple Angles in Real World

Xiaopei Zhu, Zhanhao Hu외 3명|arXiv (Cornell University)|2022. 05. 12.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 다각도에서 물리 세계의 열화상 인식 보행자 검출기로부터 회피하기 위해 기체 섬유에 주기적으로 팽창 가능한 'QR 코드' 패턴을 사용한 적외선 공격성 의복을 제안한다. 비틀림과 무작위 자르기 조건 하에서도 내구성을 최적화함으로써, 물리 세계 테스트에서 YOLOv3의 평균 정밀도를 64.6% 감소시켰으며, 무작위 패턴과 열 절연 의복보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Thermal infrared imaging is widely used in body temperature measurement, security monitoring, and so on, but its safety research attracted attention only in recent years. We proposed the infrared adversarial clothing, which could fool infrared pedestrian detectors at different angles. We simulated the process from cloth to clothing in the digital world and then designed the adversarial "QR code" pattern. The core of our method is to design a basic pattern that can be expanded periodically, and make the pattern after random cropping and deformation still have an adversarial effect, then we can process the flat cloth with an adversarial pattern into any 3D clothes. The results showed that the optimized "QR code" pattern lowered the Average Precision (AP) of YOLOv3 by 87.7%, while the random "QR code" pattern and blank pattern lowered the AP of YOLOv3 by 57.9% and 30.1%, respectively, in the digital world. We then manufactured an adversarial shirt with a new material: aerogel. Physical-world experiments showed that the adversarial "QR code" pattern clothing lowered the AP of YOLOv3 by 64.6%, while the random "QR code" pattern clothing and fully heat-insulated clothing lowered the AP of YOLOv3 by 28.3% and 22.8%, respectively. We used the model ensemble technique to improve the attack transferability to unseen models.

연구 동기 및 목표

• 다양한 시야 각도에서 열화상 보행자 검출기로부터 은폐할 수 있는 착용 가능한 물리적 내구성 있는 방법을 개발하기 위해.
• 이전의 물리적 공격가 특정 각도(예: 앞면 전용)에서만 작동하는 한계를 극복하기 위해.
• 비정형 변형과 3D 의복 제작 중 무작위 자르기 후에도 효과를 유지할 수 있는 공격성 패턴을 설계하기 위해.
• 모델 앙상블 기법을 활용해 미리 보지 않은 모델로의 공격 전이성 향상시키기 위해.
• 다양한 각도와 거리에서 실제 물리 실험을 통해 공격성 의복의 효과를 검증하기 위해.

제안 방법

• 디지털 세계에서 평평한 천에서 3D 의복으로의 변환을 미분 가능한 렲팅 파이프라인을 사용해 시뮬레이션한다.
• 무작위 자르기 및 기하학적 변형 후에도 효과를 유지할 수 있도록 주기적인 'QR 코드' 구조를 기반으로 한 이진 공격성 패턴을 설계한다.
• 목표 검출기(예: YOLOv3)에서 성능 저하를 극대화하기 위해 그래디언트 기반 공격 방법(예: PGD)을 사용해 패턴을 최적화한다.
• 최적화 과정에서 모델 앙상블 기법을 적용하여 여러 모델(예: YOLOv2, YOLOv3, Faster R-CNN, Mask R-CNN)을 결합해, 미리 보지 않은 모델로의 전이성 향상시키기 위해.
• 공격성 패턴의 적외선 서명을 유지할 수 있는 경량이며 열 절연성 재질인 기체를 사용해 최종 의복을 제작한다.
• 실제 자율주행 차량의 열화상 카메라와 실제 봉사자들을 활용해 물리 세계 평가를 수행하며, 다양한 각도와 거리에서 공격 성공률(ASR)과 평균 정밀도(AP) 측정한다.

실험 결과

연구 질문

• RQ1 비정형 변형과 무작위 자르기 조건 하에서도 3D 의복에 적용된 공격성 패턴이 효과를 유지할 수 있는가?
• RQ2 실제 환경 조건에서 공격성 의복이 다각도의 적외선 보행자 검출기로부터 견고하게 회피할 수 있는가?
• RQ3 다양한 딥 러닝 모델 간 공격 전이성은 어떻게 비교되는가, 특히 미리 보지 않은 모델에 대해서는?
• RQ4 거리와 시야 각도가 물리 실험에서 공격성 의복의 감지 회피 성능에 어떤 영향을 미치는가?
• RQ5 모델 앙상블 기반 최적화가 물리 세계 공격에서 공격성 패턴의 전이성과 내구성에 뚜렷한 향상을 이끌 수 있는가?

주요 결과

• 디지털 세계에서 공격성 'QR 코드' 패턴은 YOLOv3의 평균 정밀도(AP)를 87.7% 감소시켰으며, 이는 무작위 패턴(57.9%)과 공백 패턴(30.1%)보다 뚜렷이 뛰어났다.
• 물리 세계 실험에서 공격성 의복은 YOLOv3의 AP를 64.6% 감소시켰으며, 무작위 패턴은 28.3%, 완전히 열 절연된 의복은 22.8%였다.
• 공격 성공률(ASR)은 0°(앞면)와 180°(뒷면)에서 가장 높았고, 90°(측면)에서 가장 낮아졌는데, 이는 패턴의 가시도 감소 때문일 가능성이 높다.
• 3m에서 7m 사이의 거리에서는 ASR가 0.8 이상 유지되었지만, 7m를 초과하면 공간 해상도 감소로 인해 급격히 떨어졌다.
• 모델 앙상블 최적화를 통해 전이성이 향상되었으며, 디지털 세계에서 Deformable DETR, RetinaNet, Libra-RCNN의 AP는 각각 66.9%, 58.2%, 40.4% 감소했고, 물리 세계에서는 각각 51.9%, 40.4%, 16.2% 감소했다.
• 공격에 대한 방어 기법인 공간 스무딩과 적대적 훈련은 검출 성능을 약간 향상시켰으며, AP는 12.3%에서 36.8%로 상승했지만 여전히 공격 후 63.2%의 성능 저하가 남아 있었다.