[논문 리뷰] Standard detectors aren't (currently) fooled by physical adversarial stop signs

Jiajun Lu, Hussein Sibai외 2명|arXiv (Cornell University)|2017. 10. 09.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 50

한 줄 요약

이 논문은 표준 detectors(YOLO 및 Faster R-CNN)에서 물리적 적대적 정지 신호를 테스트하고 표준 구성에서 속지 않는다는 것을 발견하며, 이전의 분류기 중심 공격이 detectors에 직접적으로 번역되지 않는다고 주장한다.

ABSTRACT

An adversarial example is an example that has been adjusted to produce the wrong label when presented to a system at test time. If adversarial examples existed that could fool a detector, they could be used to (for example) wreak havoc on roads populated with smart vehicles. Recently, we described our difficulties creating physical adversarial stop signs that fool a detector. More recently, Evtimov et al. produced a physical adversarial stop sign that fools a proxy model of a detector. In this paper, we show that these physical adversarial stop signs do not fool two standard detectors (YOLO and Faster RCNN) in standard configuration. Evtimov et al.'s construction relies on a crop of the image to the stop sign; this crop is then resized and presented to a classifier. We argue that the cropping and resizing procedure largely eliminates the effects of rescaling and of view angle. Whether an adversarial attack is robust under rescaling and change of view direction remains moot. We argue that attacking a classifier is very different from attacking a detector, and that the structure of detectors - which must search for their own bounding box, and which cannot estimate that box very accurately - likely makes it difficult to make adversarial patterns. Finally, an adversarial pattern on a physical object that could fool a detector would have to be adversarial in the face of a wide family of parametric distortions (scale; view angle; box shift inside the detector; illumination; and so on). Such a pattern would be of great theoretical and practical interest. There is currently no evidence that such patterns exist.

연구 동기 및 목표

• 현실 세계에 준하는 조건에서 물리적 적대적 정지 신호가 표준 탐지기를 혼동시킬 수 있는지 평가한다.
• 이전의 분류기 공격이 왜 탐지기로 번역되지 않을 수 있는지 설명한다.
• 탐지기의 박스 예측 및 위치 추적이 적대적 강건성에 어떤 영향을 미치는지 논의한다.
• 도로 표지판 시나리오에서 분류기 공격과 탐지기 공격의 차이를 명확히 한다.

제안 방법

• 두 개의 사전 학습된 탐지기(YOLO 및 Faster R-CNN)를 EvItimov 등(Evtimov et al.)의 물리적 정지 신호 공격에 적용한다.
• 논문의 그림을 재현하고 포스터 및 스티커 적대적 정지 신호에서 탐지기를 테스트한다.
• 해상도, 자르기 및 박스 위치 추적과 관련된 탐지 성능을 분석한다.
• 탐지기 아키텍처(그리드 기반 대 제안 기반)가 적대적 패턴에 대한 강건성에 미치는 영향을 논의한다.

실험 결과

연구 질문

• RQ1 표준 탐지기(YOLO 및 Faster R-CNN)가 정지 신호의 물리적 적대적 패/sign을 정지 신호로 잘못 분류하거나 감지하지 못하는가? 정지 신호가 stationary 및 drive-by 조건에서의상황에서?
• RQ2 분류기에 초점을 둔 공격에서 관찰된 적대효가 탐지기의 경계 상자 위치화 및 다중 상자 샘플링을 고려할 때 보존되는가?
• RQ3 탐지기 파이프라인에서 자르기, 스케일링 및 박스 위치화가 적대적 패턴의 강건성에 어떤 영향을 미치는가?
• RQ4 분류기 중심의 적대적 연구와 탐지기 성능 사이의 불일치를 무엇이 설명하는가?

주요 결과

• YOLO는 포스터와 스티커 모두에서 실제 정지 신호만큼 또는 더 잘 적대적 정지 신호를 탐지한다는 점을 보인다(표준 및 더 높은 해상도 비디오에서 모두).
• Faster RCNN은 포스터 및 스티커에서 적대적 정지 신호를 실제 정지 신호만큼 또는 더 잘 탐지하며 일반적으로 YOLO보다 더 정확하다.
• 탐지기는 작은 신호나 멀리 있는 신호에서 YOLO보다 성능이 더 뛰어난 경향이 있으며, 더 높은 해상도 비디오는 두 탐지기의 탐지 성능을 향상시킨다.
• 일부 분류기 공격에서 사용된 경계 상자 자르기는 스케일 및 기울기 효과를 제거하여 이러한 결과가 현대 탐지기와 대표성이 없게 만든다.
• 현대 탐지기의 불완전한 경계 상자 위치화가 적대적 패턴을 혼란시켜 탐지기에 대한 효과를 감소시킬 수 있다.
• 현재 물리적 적대적 패턴이 광범위한 매개변수 왜곡군(스케일, 시야 각도, 박스 이동, 조명)에서 탐지기를 속일 수 있다는 증거는 없다.