[논문 리뷰] Daedalus: Breaking Non-Maximum Suppression in Object Detection via Adversarial Examples

Derui Wang, Chaoran Li외 5명|arXiv (Cornell University)|2019. 02. 06.

Adversarial Robustness in Machine Learning참고 문헌 71인용 수 35

한 줄 요약

Daedalus는 엔드투엔드 객체 탐지기에서 NMS를 비활성화하는 적대적 예제를 만들어 거짓 양성이 대폭 증가하고 특정 설정에서 mAP를 0으로 만들며, 물리적 포스터로 구현 가능하고 여러 모델에서 작동한다.

ABSTRACT

This paper demonstrates that Non-Maximum Suppression (NMS), which is commonly used in Object Detection (OD) tasks to filter redundant detection results, is no longer secure. Considering that NMS has been an integral part of OD systems, thwarting the functionality of NMS can result in unexpected or even lethal consequences for such systems. In this paper, an adversarial example attack which triggers malfunctioning of NMS in end-to-end OD models is proposed. The attack, namely exttt{Daedalus}, compresses the dimensions of detection boxes to evade NMS. As a result, the final detection output contains extremely dense false positives. This can be fatal for many OD applications such as autonomous vehicles and surveillance systems. The attack can be generalised to different end-to-end OD models, such that the attack cripples various OD applications. Furthermore, a way to craft robust adversarial examples is developed by using an ensemble of popular detection models as the substitutes. Considering the pervasive nature of model reusing in real-world OD scenarios, Daedalus examples crafted based on an extit{ensemble of substitutes} can launch attacks without knowing the parameters of the victim models. Experimental results demonstrate that the attack effectively stops NMS from filtering redundant bounding boxes. As the evaluation results suggest, Daedalus increases the false positive rate in detection results to $99.9\%$ and reduces the mean average precision scores to $0$, while maintaining a low cost of distortion on the original inputs. It is also demonstrated that the attack can be practically launched against real-world OD systems via printed posters.

연구 동기 및 목표

• 엔드투엔드 객체 탐지기에서 Non-Maximum Suppression (NMS)가 적대적 입력에 의해 깨질 수 있음을 동기 부여하고 이를 시연한다.
• NMS를 깨뜨리는 것이 탐지 성능을 저하시키고 보편적이며 이전 가능한 공격으로 구현될 수 있음을 보여준다.
• 여러 모델에서 작동하는 강건한 적대적 예제를 만들기 위한 앙상블-대체 전략을 개발한다.
• 인쇄 포스터를 이용한 물리적 세계에서의 공격 배치를 실용적으로 탐구한다.

제안 방법

• Daedalus를 제약된 최적화로 공식화하여 교란을 제약하고 적대적 목표를 최대화한다.
• 경계 상자 간 IoU를 감소시키거나 상자 차원을 압축하여 NMS 필터링을 차단하는 방식으로 NMS 취약점을 악용한다.
• NMS를 회피하는 조밀하고 겹치거나 작은 박스를 유도하기 위해 세 가지 적대적 손실 함수(f1, f2, f3)를 제안한다.
• YOLO-v3, SSD, RetinaNet 등 대체 탐지기의 앙상블을 사용하여 블랙박스 시나리오에서 보편적 적대적 예제를 생성한다.
• 모든 픽셀 및 선택적 픽셀 교란을 연구하기 위해 Daedalus의 L2 및 L0 변형을 제공하고 물리적 포스터 구현을 포함한다.

실험 결과

연구 질문

• RQ1 정밀하게 설계된 적대적 교란으로 NMS가 엔드투엔드 객체 탐지기에서 신뢰성 있게 깨질 수 있는가?
• RQ2 대체 모델들의 앙상블에서 생성된 보편적 적대적 예제가 블랙박스 설정에서 다른 탐지기에 전이되는가?
• RQ3 Daedalus 교란이 NMS 임계치 및 공격 신뢰도에 따라 FP 비율과 mAP 같은 표준 OD 지표에 어떤 영향을 미치는가?
• RQ4 인쇄 포스터나 기타 물리적 매체를 통해 실제 환경에서 Daedalus를 배치하는 것이 가능한가?

주요 결과

• Daedalus는 NMS가 출력을 필터링하는 것을 방지함으로써 매우 조밀한 거짓 양성을 유발할 수 있다.
• 평가에 따르면 고신뢰도 공격에서 FP 비율은 최대 99.9%에 달하고, 특정 설정에서 mAP는 0%로 떨어질 수 있다.
• 앙상블-대체 접근 방식은 여러 인기 OD 모델을 공격할 수 있는 보편적 적대적 예제를 생성한다.
• 이 공격은 물리적 포스터 설정에서 실제 세계의 OD 시스템을 공격하는 데 시연된다.