[논문 리뷰] Evading Real-Time Person Detectors by Adversarial T-shirt.

Kaidi Xu, Gaoyuan Zhang외 7명|arXiv (Cornell University)|2019. 10. 18.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 18

한 줄 요약

이 논문은 신체 운동으로 인한 변형에도 불구하고 실시간 인체 검출기에서 회피하는 적대적 티셔츠를 제안한다. 변형을 고려한 최적화를 통해 공격 성공률를 유지한다. 시뮬레이션에서는 79%의 성공률를 기록했고, 실제 구현에서는 YOLOv2에 대해 63%의 성공률를 달성하여 이전 최고 성능 기법보다 35% 이상 높다.

ABSTRACT

It is known that deep neural networks (DNNs) could be vulnerable to adversarial attacks. The so-called physical adversarial examples deceive DNN-based decision makers by attaching adversarial patches to real objects. However, most of the existing works on physical adversarial attacks focus on static objects such as glass frame, stop sign and image attached to a cardboard. In this work, we proposed adversarial T-shirt, a robust physical adversarial example for evading person detectors even if it suffers from deformation due toa moving person's pose change. To the best of our knowledge, the effect of deformation is first modeled for designing physical adversarial examples with respect to non-rigid objects such as T-shirts. We show that the proposed method achieves 79% and 63% attack success rates in digital and physical worlds respectively against YOLOv2. In contrast, the state-of-the-art physical attack method to fool a person detector only achieves 27% attack success rate. Furthermore, by leveraging min-max optimization, we extend our method to the ensemble attack setting against object detectors YOLOv2 and Faster R-CNN simultaneously.

연구 동기 및 목표

• 비정적이고 변형 가능한 물체인 티셔츠에 대해 강건한 물리적 적대적 예제를 설계하는 데 도전한다.
• 신체 자세 변화로 인한 변형의 영향을 인체 검출기에서의 물리적 적대적 공격에 모델링한다.
• 정적 물체를 대상으로 하는 기존 방법에 비해 실제 환경 구현 시 공격 성공률를 향상시킨다.
• YOLOv2와 Faster R-CNN를 포함한 여러 검출기 대상의 통합 공격으로 접근을 확장한다.
• 운동 환경에서 웨어러블 의류에 효과적인 적대적 예제를 구현할 수 있음을 입증한다.

제안 방법

• 움직이는 사람의 자세 변화를 고려한 변형 인식 최적화 과정을 수립하여, 티셔츠에 그려진 적대적 패턴이 다양한 신체 자세에서 어떻게 변형되는지 모델링한다.
• 다양한 변형 상황에서도 효과를 유지할 수 있도록, 강건성을 확보하기 위해 최소-최대 최적화 프레임워크를 활용한다.
• 3D 티셔츠 메쉬에 패턴을 최적화하여 적대적 티셔츠를 생성하며, 인간 운동에 의해 발생하는 실제적인 변형을 시뮬레이션한다.
• 다양한 카메라 시점에서 움직이는 사람의 모습에 어떻게 적대적 패턴이 보일지 시뮬레이션하기 위해 유연한 렲링 파이프라인을 통합한다.
• 최소-최대 공식을 사용하여 YOLOv2와 Faster R-CNN를 동시에 고려한 통합 공격을 위해 공동 최적화를 수행한다.
• 이중 가역 려상 려상 렌더러를 사용하여 이미지 형성 과정을 통해 기울기를 역전파하고, 적대적 패턴의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신체 운동으로 인한 심각한 변형 상황에서도 티셔츠와 같은 웨어러블 의류에 그려진 적대적 패턴이 효과를 유지할 수 있는가?
• RQ2 적대적 패턴 생성 과정에서 변형을 모델링할 경우, 정적 물체 기반 공격에 비해 실제 세계 공격 성공률가 어떻게 향상되는가?
• RQ3 제안된 방법이 실제 세계에서 동시에 여러 객체 검출기에서 높은 공격 성공률를 달성할 수 있는가?
• RQ4 적대적 티셔츠의 디지털 시뮬레이션과 실제 구현 간의 성능 격차는 무엇인가?
• RQ5 최소-최대 최적화 전략은 다양한 검출기와 변형 상황에서 강건성을 어떻게 향상시키는가?

주요 결과

• 적대적 티셔츠는 YOLOv2에 대해 디지털 시뮬레이션에서 79%의 공격 성공률를 기록했으며, 이는 이전 최고 성능 기법보다 뚜렷이 높다.
• 실제 환경 구현에서는 63%의 공격 성공률를 달성했으며, 이는 이전 최고 기법보다 35% 이상 높다.
• 제안된 방법은 신체 운동으로 인한 변형에 대해 강건성을 보이며, 패턴 생성 과정에서 변형을 명시적으로 모델링한다.
• 최소-최대 최적화 프레임워크는 효과적인 통합 공격을 가능하게 하여 YOLOv2와 Faster R-CNN를 동시에 회피하는 데 성공한다.
• 본 연구는 변형 인식 설계가 비정적이고 착용 가능한 물체에 대한 효과적인 물리적 적대적 공격에 필수적임을 처음으로 입증한다.
• 결과적으로, 공격 생성 과정에서 변형을 모델링할 경우 실제 세계 공격 성공률가 상당히 향상됨을 확인한다.