[논문 리뷰] Adversarial T-shirt! Evading Person Detectors in A Physical World

Kaidi Xu, Gaoyuan Zhang외 7명|arXiv (Cornell University)|2019. 10. 18.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 38

한 줄 요약

논문은 Adversarial T-shirts를 소개합니다, 포즈 변화에 따라 변형되는 비강체 TPS 기반 물리적 공격으로 YOLOv2 및 Faster R-CNN과 같은 사람 탐지기를 회피하고 min-max 앙상블 확장을 포함합니다.

ABSTRACT

It is known that deep neural networks (DNNs) are vulnerable to adversarial attacks. The so-called physical adversarial examples deceive DNN-based decisionmakers by attaching adversarial patches to real objects. However, most of the existing works on physical adversarial attacks focus on static objects such as glass frames, stop signs and images attached to cardboard. In this work, we proposed adversarial T-shirts, a robust physical adversarial example for evading person detectors even if it could undergo non-rigid deformation due to a moving person's pose changes. To the best of our knowledge, this is the first work that models the effect of deformation for designing physical adversarial examples with respect to-rigid objects such as T-shirts. We show that the proposed method achieves74% and 57% attack success rates in the digital and physical worlds respectively against YOLOv2. In contrast, the state-of-the-art physical attack method to fool a person detector only achieves 18% attack success rate. Furthermore, by leveraging min-max optimization, we extend our method to the ensemble attack setting against two object detectors YOLO-v2 and Faster R-CNN simultaneously.

연구 동기 및 목표

• 현실 세계의 비정적 조건에서 사람 탐지를 위한 DNN의 강건성 평가의 동기 부여.
• 비강체 의류 변형에서도 효과를 유지하는 물리적 적대적 웨어러블 개발.
• 포즈로 인한 의류 변화를 포착하기 위한 TPS 기반 변형 모델 제안.
• 단일 및 앙상블 탐지기에 대한 공격을 위한 공격용 범용 제안.
• 디지털 및 물리 실험에서 여러 탐지기에 대해 방법 평가.

제안 방법

• Affine 및 비항형 왜곡을 결합한 얇은 판 스플라인(TPS) 트랜스포머를 사용하여 의류 변형 모델링.
• 체커보드 패턴을 사용하여 제어점을 감지하고 프레임 간 TPS를 정렬.
• TPS 및 색상 변환 하에서 사람 탐지 신뢰도 손실을 최소화하기 위한 Transformation에 대한 기대(EoT) 기반 최적화.
• 디지털 교란을 인쇄 가능한 패턴으로 매핑하기 위해 색상 변환 모델 도입.
• 다중 탐지기(YOLOv2 및 Faster R-CNN)를 동시에 속이기 위한 최소-최대 앙상블 최적화 적용.

실험 결과

연구 질문

• RQ1 물리적 세계에서 비강체로 변형된 적대적 패턴이 현대의 사람 탐지기를 일관되게 속일 수 있는가?
• RQ2 TPS 기반 변형의 도입이 단일 및 다중 탐지기에 대한 물리적 세계 공격 성공에 어떤 영향을 미치는가?
• RQ3 다중 탐지기를 공격할 때 손실 평균화보다 최소-최대 앙상블 공격의 이점은 무엇인가?
• RQ4 포즈 변화, 거리, 환경 변화에 대해 적대적 T-셔츠의 강건성은 어느 정도인가?
• RQ5 디지털 시뮬레이션에서 실제 웨어러블로의 전이 가능성은 있는가?

주요 결과

• 적대적 T-셔츠는 디지털 세계에서 YOLOv2를 상대로 ASR 74%를 달성하고 물리적 세계에서 57% ASR를 달성한다.
• Faster R-CNN에 대해 T-셔츠는 디지털 61%, 물리적 47% ASR을 달성한다.
• advPatch 기준과 비교하면, 적대적 T-셔츠는 ASR를 상당히 향상시킨다(예: 디지털에서 YOLOv2에 대해 74% 대 24%).
• TPS 기반 변형이 결정적이다; TPS 제거 시 YOLOv2 ASR이 74%에서 48%로, Faster R-CNN ASR이 61%에서 34%로 감소한다.
• 최소-최대 앙상블 공격은 Faster R-CNN 공격에서 평균화 대비 ASR을 최대 약 15% 포인트까지 향상시키지만 YOLOv2에 대해서는 약간의 트레이드오프를 초래한다.
• 물리 세계 테스트에서 적대적 T-셔츠는 YOLOv2에 대해 평균 57% ASR, Faster R-CNN에 대해 47% ASR을 달성했다.