[논문 리뷰] Dynamic Adversarial Patch for Evading Object Detection Models

Shahar Hoory, Tzvika Shapira외 2명|arXiv (Cornell University)|2020. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 28

한 줄 요약

이 논문은 차량에 부착된 여러 개의 스크린을 사용하여 카메라의 위치에 따라 실시간으로 최적화된 적대적 패치를 전환하는 동적 적대적 패치 공격을 제안한다. 이는 YOLOv2 객체 검출기의 탈출 성공률을 크게 향상시킨다. 이 방법은 90° 시야 범위 내에서 최대 90%의 공격 성공률를 기록하며, 차량을 의미적으로 관련 없는 물체(예: 사람)로 오분류하도록 유도하는 의미론적 손실을 사용하여 강건성을 향상시킨다.

ABSTRACT

Recent research shows that neural networks models used for computer vision (e.g., YOLO and Fast R-CNN) are vulnerable to adversarial evasion attacks. Most of the existing real-world adversarial attacks against object detectors use an adversarial patch which is attached to the target object (e.g., a carefully crafted sticker placed on a stop sign). This method may not be robust to changes in the camera's location relative to the target object; in addition, it may not work well when applied to nonplanar objects such as cars. In this study, we present an innovative attack method against object detectors applied in a real-world setup that addresses some of the limitations of existing attacks. Our method uses dynamic adversarial patches which are placed at multiple predetermined locations on a target object. An adversarial learning algorithm is applied in order to generate the patches used. The dynamic attack is implemented by switching between optimized patches dynamically, according to the camera's position (i.e., the object detection system's position). In order to demonstrate our attack in a real-world setup, we implemented the patches by attaching flat screens to the target object; the screens are used to present the patches and switch between them, depending on the current camera location. Thus, the attack is dynamic and adjusts itself to the situation to achieve optimal results. We evaluated our dynamic patch approach by attacking the YOLOv2 object detector with a car as the target object and succeeded in misleading it in up to 90% of the video frames when filming the car from a wide viewing angle range. We improved the attack by generating patches that consider the semantic distance between the target object and its classification. We also examined the attack's transferability among different car models and were able to mislead the detector 71% of the time.

연구 동기 및 목표

• 실제 객체 검출 공격에서 정적 적대적 패치의 제한된 강건성 문제를 해결함. 특히 다양한 카메라 각도와 평면이 아닌 3차원 물체(예: 차량)에 대해.
• 시야 각도가 변하거나 패치가 특정 시점에서 보이지 않을 경우 기존 물리적 공격이 실패하는 문제를 해결함.
• 카메라 위치에 따라 실시간으로 적대적 패치를 조정하는 동적이고 카메라 위치 인식 공격 시스템을 개발함.
• 의미론적 손실 함수를 수정하여 의미적으로 관련 없는 클래스(예: 차량 → 사람)로 오분류하도록 유도함으로써 공격의 이동성과 효과성을 향상시킴.
• 자율주행 차량과 같은 안전이 중요한 시스템에서 실생활 적대적 공격을 구현하기 위한 동적 스크린의 가능성을 입증함.

제안 방법

• 차량에 여러 개의 평판 스크린을 설치하여 특정 카메라 시야 각도에 최적화된 적대적 패치를 실시간으로 표시함.
• 특정 시야 각도에 최적화된 패치를 생성하기 위해 적대적 학습 알고리즘을 사용함으로써 넓은 각도 범위(90°)에서 높은 공격 성공률를 확보함.
• 실시간 카메라 위치 데이터 기반으로 패치를 동적으로 전환하여 항상 가장 효과적인 패치가 검출기에게 노출되도록 함.
• 의미론적 적대적 손실 함수를 도입하여 타깃 객체를 의미적으로 관련 없는 클래스(예: 차량 → 사람)로 오분류하도록 유도함으로써 공격의 은밀성과 효과성을 향상시킴.
• 실생활 실험에서 물리적 스크린을 사용하여 동적 패치 제시를 시뮬레이션함으로써 카메라 위치 변화에 실시간으로 적응할 수 있도록 함.
• 다양한 조도 조건(예: 햇빛이 강한 외부 환경 vs. 실내)에서 공격 성능을 평가하여 환경적 강건성 확보.

실험 결과

연구 질문

• RQ1 정적 패치에 비해 동적 적대적 패치 시스템이 다양한 시야 각도에서 객체 검출기의 탈출 성공률를 향상시킬 수 있는가?
• RQ2 스크린 및 패치의 수가 동적인 카메라 운동 상황에서 공격 성공률와 강건성에 미치는 영향은 어떠한가?
• RQ3 패치가 항상 보이지 않는 상황에서도 비록 평면이 아닌 3차원 물체(예: 차량)일지라도 공격이 높은 성공률를 유지할 수 있는가?
• RQ4 의미론적 손실 함수를 사용하여 타깃 객체를 의미적으로 관련 없는 객체로 오분류하면 공격의 효과성과 이동성(transferability)이 향상되는가?
• RQ5 환경 조도(예: 직사광선)가 동적 적대적 패치의 실생활 효과성에 미치는 영향은 어떠한가?

주요 결과

• 동적 적대적 패치 공격는 다양한 시야 각도에서 YOLOv2 객체 검출기의 탈출 성공률가 최대 90%에 이르렀으며, 90° 시야 범위 내에서 성공함.
• 공격는 정면 및 뒷면 시야 각도에서 가장 효과적이었음(그림 9), 반면 옆면 시야에서는 실패함(그림 8), 이는 각도 의존적 성능을 시사함.
• 햇빛이 강한 실외 환경에서는 공격 성공률가 15~23.2%로 떨어졌으며, 주로 직사광선으로 인한 스크린 반사 및 빛의 과도한 밝기가 카메라를 망가뜨려 발생함.
• 의미론적 적대적 패치 방법은 차량을 의미적으로 관련 없는 물체(예: 사람)로 오분류하는 데 성공하여 탐지 또는 의심 가능성 감소.
• 다양한 차량 모델 간 공격 이동성(transferability)은 71%를 기록하여 유사한 형태의 미사용 차량에 대해서도 중간 수준의 일반화 성능 확보.
• 디지털 시뮬레이션 결과, 차량 뒷면의 15%만을 커버하는 스크린이 영상 프레임에서 90%의 공격 성공률를 달성하는 데 충분함.