[논문 리뷰] Adversarial YOLO: Defense Human Detection Patch Attacks via Detecting Adversarial Patches

Nan Ji, YanFei Feng외 3명|arXiv (Cornell University)|2021. 03. 16.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 26

한 줄 요약

Ad-YOLO는 패치 카테고리를 추가하여 YOLOv2를 확장하고 adversarial 패치를 탐지하며, 사람과 패치를 동시에 탐지하고 화이트-박스 및 물리적 세계 패치 공격에 대해 표준 탐지에 거의 비용 없이 강력한 강건성을 보인다.

ABSTRACT

The security of object detection systems has attracted increasing attention, especially when facing adversarial patch attacks. Since patch attacks change the pixels in a restricted area on objects, they are easy to implement in the physical world, especially for attacking human detection systems. The existing defenses against patch attacks are mostly applied for image classification problems and have difficulty resisting human detection attacks. Towards this critical issue, we propose an efficient and effective plug-in defense component on the YOLO detection system, which we name Ad-YOLO. The main idea is to add a patch class on the YOLO architecture, which has a negligible inference increment. Thus, Ad-YOLO is expected to directly detect both the objects of interest and adversarial patches. To the best of our knowledge, our approach is the first defense strategy against human detection attacks. We investigate Ad-YOLO's performance on the YOLOv2 baseline. To improve the ability of Ad-YOLO to detect variety patches, we first use an adversarial training process to develop a patch dataset based on the Inria dataset, which we name Inria-Patch. Then, we train Ad-YOLO by a combination of Pascal VOC, Inria, and Inria-Patch datasets. With a slight drop of $0.70\%$ mAP on VOC 2007 test set, Ad-YOLO achieves $80.31\%$ AP of persons, which highly outperforms $33.93\%$ AP for YOLOv2 when facing white-box patch attacks. Furthermore, compared with YOLOv2, the results facing a physical-world attack are also included to demonstrate Ad-YOLO's excellent generalization ability.

연구 동기 및 목표

• 실제 환경에서 어드버서리 패치 공격에 대한 인간 탐지 시스템의 취약성에 대응한다.
• 추가적인 추론 비용 없이 사람과 adversarial 패치를 모두 탐지할 수 있는 플러그인 방어(Ad-YOLO)를 개발한다.
• adversarial 학습을 통해 다양한 adversarial 패치 데이터셋(Inria-Patch)을 생성하고 활용한다.
• Ad-YOLO의 탐지 가능성, 화이트박스 및 물리적 세계 공격에 대한 강건성, 시나리오와 개인 간 일반화를 평가한다.

제안 방법

• YOLOv2의 마지막 층에 새로운 패치 카테고리를 추가하여 RestOfArchitecture를 변경하지 않고 패치에 대한 추가 클래스를 출력하는 Ad-YOLO를 만든다.
• Inria에서의 adversarial 학습을 통해 Inria-Patch를 구성하고 공격 효과성과 다양성을 가진 패치를 생성한다.
• Pascal VOC, Inria, Inria-Patch 데이터셋의 혼합으로 Ad-YOLO를 학습시켜 사람과 패치를 동시에 탐지하도록 한다.
• Ad-YOLO 학습 목표를 패치가 추가된 입력의 기대 손실을 최소화하도록 구성하고, A(delta, x, t)를 통해 패치를 적용하고 ŷ를 추가 패치 라벨이 있는 실제 정답으로 사용하는 것을 포함한다.
• 핵심 YOLOv2 구조를 유지하면서 패치 클래스를 추가하여 시의적절성과 계산 비용을 낮게 유지한다.

실험 결과

연구 질문

• RQ1 객체 탐지기를 패치 탐지 클래스로 확장하여 디지털 및 물리적 세계에서 adversarial 패치에 방어할 수 있는가?
• RQ2 패치 탐지 기능을 추가하더라도 원래의 탐지 성능(탐지 가능성)을 보존하는가?
• RQ3 화이트박스 패치 공격하에서 Ad-YOLO는 표준 YOLOv2에 비해 어떤 성능 차이를 보이며, 보지 못한 패치 및 장면으로 일반화하는가?
• RQ4 Adversarial 패치 학습(Inria-Patch)이 데이터셋과 시나리오 전반의 강건성과 일반화에 미치는 영향은 무엇인가?

주요 결과

• Ad-YOLO는 VOC 2007에서 YOLOv2와 거의 동일한 탐지 성능을 유지하며, mAP가 73.07%에서 72.35%로 0.70포인트 감소했다.
• Ad-YOLO는 Inria에서 사람 탐지 정확도를 유지하면서 AP가 88.13%에서 86.91%로 약간 감소했다.
• Ad-YOLO는 Inria-Patch adversarial patch 데이터셋에서 83.91% AP를 달성하여 패치 탐지가 효과적으로 이루어짐을 시사한다.
• 화이트박스 패치 공격하에서 Ad-YOLO는 사람 AP를 33.93%(YOLOv2)에서 80.31%(Ad-YOLO)로 개선하여 상당한 강건성 이득을 보인다.
• Ad-YOLO는 보지 못한 패치와 장면(I0-P0, I1-P0, I0-P1, I1-P1)으로 일반화하며, 사람이 탐지된 AP가 구성에 따라 77.82%에서 78.70% 범위에 있다.
• 대적 훈련 기반 비교와 비교하여, Ad-YOLO는 대략 46%의 강건성 향상을 보이며 순수한 clean AP의 추가 감소는 약 1.4%에 불과하고, 훈련 비용은 표준 훈련과 비슷하다.