[논문 리뷰] On Physical Adversarial Patches for Object Detection

Mark Lee, J. Zico Kolter|arXiv (Cornell University)|2019. 06. 20.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 115

한 줄 요약

이 논문은 물리적 적대적 패치가 YOLOv3의 모든 탐지를 억제하고 패치에서 멀리 떨어진 객체도 억제하며, 디지털 및 실시간 웹캠 공격에서 이전 패치 방법(DPatch)을 능가함을 보여준다.

ABSTRACT

In this paper, we demonstrate a physical adversarial patch attack against object detectors, notably the YOLOv3 detector. Unlike previous work on physical object detection attacks, which required the patch to overlap with the objects being misclassified or avoiding detection, we show that a properly designed patch can suppress virtually all the detected objects in the image. That is, we can place the patch anywhere in the image, causing all existing objects in the image to be missed entirely by the detector, even those far away from the patch itself. This in turn opens up new lines of physical attacks against object detection systems, which require no modification of the objects in a scene. A demo of the system can be found at https://youtu.be/WXnQjbZ1e7Y.

연구 동기 및 목표

• 물체 탐지 시스템의 취약성에 대한 물리적 적대적 패치 연구를 자극한다.
• 특정 객체를 대상으로 하지 않고 모든 탐지를 억제하는 패치 기반 공격 개발.
• 일반 패치가 서로 다른 위치, 거리, 조명 조건에서도 작동할 수 있음을 보여준다.
• COCO 및 실시간 웹캠 시나리오에서 공격 평가.
• 성능을 기존 패치 접근법(DPatch)과 비교하고 개선 이유를 분석한다.

제안 방법

• 패치에 적용된 변환에 대한 기대값을 사용한 PGD를 이용한 비목표적 패치 공격을 형식화한다.
• 패치 δ를 이미지 x에 변환 t 하에 적용하는 패치 적용 함수 A(δ, x, t)를 사용하고 탐지기 손실 J를 최대화한다.
• 유효한 이미지 값 내에 패치를 유지하기 위해 클리핑을 적용하고 비볼록 최적화를 완화하기 위해 무작위 재시작을 반복한다.
• COCO 검증 세트에서 비클립된 변형과 클립된 변형을 모두 평가하여 DPatch와 비교하고 mAP 및 클래스별 AP를 측정한다.
• 패치를 출력하고 웹캠을 통해 실시간으로 YOLOv3를 공격하여 물리적 구현을 시연한다.

실험 결과

연구 질문

• RQ1 비중첩(adversarial) 패치가 YOLOv3 같은 객체 탐지기에서 모든 탐지를 억제할 수 있는가?
• RQ2 비목표적 설정에서 패치 기반 공격이 DPatch와 같은 기존 방법과 어떻게 비교되는가?
• RQ3 물리적으로 인쇄된 패치가 거리, 각도, 조명, 모션 변화에서도 적대적 효과를 유지하는가?
• RQ4 비클립 대 클립 공격 구성에서 전체 mAP 및 클래스별 AP에 미치는 영향은 무엇인가?
• RQ5 물리적 공간에서 실시간 탐지로 전이 가능한가?

주요 결과

• 비중첩적 적대 패치는 비목표적 공격 하에서 YOLOv3의 mAP를 55.4에서 한 자리 값으로 감소시킬 수 있다.
• 제안된 방법은 비클립 및 클립 설정 모두에서 DPatch보다 훨씬 낮은 mAP를 달성한다.
• 변환이 포함된 클립 패치는 여전히 강력한 억제를 제공하며 비클립의 경우 mAP가 7.2까지, 클립의 경우 7.2까지 감소한다(표 2 값).
• 비클립 실험에서 패치는 패치 규모에 따라 mAP를 0.05–0.25까지 낮출 수 있으며, DPatch의 상승된 mAP 값들(예: 표 1의 9.21–39.6 범위)을 능가한다.
• 실제 패치는 표준 용지에 인쇄되어 실시간 웹캠 실험에서 탐지를 억제하지만, 거리 증가에 따라 효능이 감소하고 멀리 있는 객체의 경우 더 큰 패치가 필요하다.