[논문 리뷰] Fooling thermal infrared pedestrian detectors in real world using small bulbs

Xiaopei Zhu, Xiao Li외 3명|arXiv (Cornell University)|2021. 01. 20.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 6

한 줄 요약

이 논문은 저비용의 휴대용 보드에 작은 전구를 내장하여 실제 환경에서 열화상 인체 검출기계를 속이는 물리적 적대적 공격을 제안한다. 열 방출 패턴을 이용해 실제 테스트에서 YOLOv3의 평균 정밀도를 34.48% 감소시켰으며, 최신 열화상 검출 시스템에 대해 높은 전이 가능성과 실용성을 입증한다.

ABSTRACT

Thermal infrared detection systems play an important role in many areas such as night security, autonomous driving, and body temperature detection. They have the unique advantages of passive imaging, temperature sensitivity and penetration. But the security of these systems themselves has not been fully explored, which poses risks in applying these systems. We propose a physical attack method with small bulbs on a board against the state of-the-art pedestrian detectors. Our goal is to make infrared pedestrian detectors unable to detect real-world pedestrians. Towards this goal, we first showed that it is possible to use two kinds of patches to attack the infrared pedestrian detector based on YOLOv3. The average precision (AP) dropped by 64.12% in the digital world, while a blank board with the same size caused the AP to drop by 29.69% only. After that, we designed and manufactured a physical board and successfully attacked YOLOv3 in the real world. In recorded videos, the physical board caused AP of the target detector to drop by 34.48%, while a blank board with the same size caused the AP to drop by 14.91% only. With the ensemble attack techniques, the designed physical board had good transferability to unseen detectors. We also proposed the first physical multispectral (infrared and visible) attack. By using a combination method, we successfully hide from the visible light and infrared object detection systems at the same time.

연구 동기 및 목표

• 실제 환경에서 열화상 인체 검출 시스템의 물리적 적대적 공격에 대한 취약성을 조사하는 것.
• 특정 열 방출 패턴을 내보내는 작은 전구를 사용해 저비용이고 휴대 가능한 물리적 공격 장치를 설계하고 구현하는 것.
• 공격의 전이 가능성을 다양한 최신 열화상 인체 검출기 간에 평가하는 것.
• 공백 보드와 같은 기준 대조군과 비교해 실제 환경 조건에서 공격의 효과를 정량화하는 것.
• 다양한 검출기 아키텍처에 일반화되는 공격 성능을 향상시키기 위해 앙상블 기반 패치 설계를 탐색하는 것.

제안 방법

• 특정 열 방출 패턴을 내보내기 위해 작은 전구를 배치한 35cm × 35cm의 갈색 종이보드를 사용해 물리적 공격 보드를 설계한다.
• 8개의 4.5V 배터리로 구동되는 전용 회로를 사용해 전구의 열 방출을 실시간으로 제어한다.
• 가우스 함수 기반 패턴과 픽셀 수준의 변형을 사용해 디지털 도메인에서 적대적 패치를 생성한다.
• 전이 가능성을 향상시키기 위해 YOLOv3, Faster R-CNN, Mask R-CNN의 모델 앙상블을 사용해 적대적 패치를 훈련시킨다.
• 실제 조명 및 환경 조건에서 열화상 카메라(HTI-301, 384×288 해상도, NETD <60mK)를 사용해 열 방출 패턴을 시뮬레이션하고 검증한다.
• 실제 보행자가 물리적 보드, 공백 보드 또는 보드 없이 들고 있는 조건에서 제어 실험을 수행해 검출 실패 비율을 측정한다.

실험 결과

연구 질문

• RQ1 실제 환경 조건에서 열화상 인체 검출기계에 물리적 적대적 공격를 성공적으로 시행할 수 있는가?
• RQ2 전구 기반의 열 방출 패턴은 최신 열화상 객체 검출기의 성능을 얼마나 효과적으로 떨어뜨릴 수 있는가?
• RQ3 훈련 중에 사용되지 않은 새로운 검출기로의 공격 전이 정도는 어느 정도인가?
• RQ4 유사한 크기와 형태를 가진 비활성 물체가 유도하는 기준 효과와 비교해 물리적 공격은 어떻게 다른가?
• RQ5 앙상블 기반 훈련은 다양한 검출기 아키텍처 간에 적대적 패치의 전이 가능성을 향상시킬 수 있는가?

주요 결과

• 실제 영상 기록에서 물리적 보드로 인해 YOLOv3 검출기의 평균 정밀도(AP)가 34.48% 감소했으며, 동일한 크기의 공백 보드의 경우 14.91% 감소했다.
• 디지털 세계에서는 제안된 패치로 인해 YOLOv3의 AP가 64.12% 감소했으며, 이는 공백 보드의 29.69% 감소보다 뚜렷이 높은 성능을 보였다.
• 앙상블 기반 패치는 디지털 평가에서 Cascade R-CNN의 AP를 35.28% 감소시키고 RetinaNet의 AP를 46.95% 감소시켜 강력한 전이 가능성을 입증했다.
• 실제 테스트에서 앙상블 패치는 Cascade R-CNN의 AP를 21.67% 감소시키고 RetinaNet의 AP를 25.17% 감소시켜 다중 모델 간 효과성을 확인했다.
• 물리적 공격는 보행자가 보드에 의해 가림을 당한 1853개의 실제 프레임에서 검출 실패를 유도했으며, 공백 보드의 경우 검출은 여전히 강건하게 유지되었다.
• 전체 물리적 장치의 비용은 5달러 이하였으며, 이는 실생활 배포에 있어 효과적이면서도 경제적으로 타당한 방법임을 입증한다.