[논문 리뷰] APRICOT: A Dataset of Physical Adversarial Attacks on Object Detection

A. Braunegg, Amartya Chakraborty외 7명|arXiv (Cornell University)|2019. 12. 17.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 7

한 줄 요약

APRICOT는 실제 환경에서 다양한 조명, 각도 및 거리 조건에서 적용된 인쇄된 적대적 패치 1,000개 이상의 실세계 사진으로 구성된 공개 데이터셋이다. 이 연구는 물리적 적대적 패치가 화이트박스 및_BLK 박스 환경에서도 성공적으로 잘못된 경고를 유도할 수 있음을 입증하며, 베이지안 불확실성과 재구성 오차와 같은 비지도 방법을 활용해 효과적인 탐지 기준을 수립한다.

ABSTRACT

Physical adversarial attacks threaten to fool object detection systems, but reproducible research on the real-world effectiveness of physical patches and how to defend against them requires a publicly available benchmark dataset. We present APRICOT, a collection of over 1,000 annotated photographs of printed adversarial patches in public locations. The patches target several object categories for three COCO-trained detection models, and the photos represent natural variation in position, distance, lighting conditions, and viewing angle. Our analysis suggests that maintaining adversarial robustness in uncontrolled settings is highly challenging, but it is still possible to produce targeted detections under white-box and sometimes black-box settings. We establish baselines for defending against adversarial patches through several methods, including a detector supervised with synthetic data and unsupervised methods such as kernel density estimation, Bayesian uncertainty, and reconstruction error. Our results suggest that adversarial patches can be effectively flagged, both in a high-knowledge, attack-specific scenario, and in an unsupervised setting where patches are detected as anomalies in natural images. This dataset and the described experiments provide a benchmark for future research on the effectiveness of and defenses against physical adversarial objects in the wild.

연구 동기 및 목표

• 실세계 기반의 공개 가능 기준 데이터셋이 부족한 물리적 적대적 공격에 대한 객체 검출 시스템에 대한 문제를 해결하기 위해.
• 변동하는 조명, 각도 및 거리와 같은 통제되지 않은 환경 조건에서 물리적 적대적 패치의 강건성과 전이 가능성 평가하기 위해.
• 공격 패tern에 대한 사전 지식이 있거나 없는 경우 모두 실세계 이미지에서 적대적 패치를 탐지하기 위한 기준 탐지 방법 수립을 위해.
• 커널 밀도 추정, 베이지안 불확실성, 오토에인코더 기반 재구성 오차와 같은 비지도 이상 탐지 기법이 자연 장면 내 적대적 패치 식별에 얼마나 효과적인지 조사하기 위해.
• 자율 주행 차량과 같은 안전이 중요한 애플리케이션에서 물리적 적대적 공격에 대응하기 위한 향후 연구를 위한 재현 가능한 기준 제공하기 위해.

제안 방법

• 20명의 자원봉사자 사진 촬영자가 공공 장소에 인쇄된 적대적 패치를 촬영하여 다양한 환경 조건을 반영한 1,000개 이상의 실세계 이미지를 수집한다.
• 실세계 왜곡(예: 회전, 스케일링, 조명 변화 등)에 강건한 적대적 패치를 생성하기 위해 전환에 대한 기대값(Expectation over Transformation) 방법을 사용한다.
• Faster R-CNN, SSD, RetinaNet의 세 개의 COCO 학습된 객체 검출 모델을 대상으로, 10개의 COCO 객체 카테고리에 대해 잘못된 경고를 유도하도록 설계된 패치를 적용한다.
• 이미지 윈도우에 비지도 이상 탐지 기법을 적용: 커널 밀도 추정(KDE), 베이지안 불확실성 추정, 오토에인코더 기반 재구성 오차를 사용해 적대적 영역을 식별한다.
• 합성적으로 삽입된 적대적 패치를 사용해 지도 학습 탐지기를 학습시켜 비지도 방법과 성능을 비교한다.
• COCO 2017 훈련 데이터에 사전 학습된 오토에인코더(ACAI)를 사용해 잠재 표현을 추출하고, 32×32 이미지 윈도우에서 재구성 오차를 계산해 이상 탐지에 활용한다.

실험 결과

연구 질문

• RQ1 실세계 왜곡(예: 시야 각도, 거리, 조명 등) 조건에서 물리적 적대적 패치가 얼마나 유지되는가?
• RQ2 공격 패턴에 대한 사전 지식 없이도 비지도 이상 탐지 기법이 자연 이미지 내 적대적 패치를 효과적으로 식별할 수 있는가?
• RQ3 실세계 장면에서 적대적 패치를 탐지할 때 지도 학습과 비지도 학습 방식의 성능은 어떻게 비교되는가?
• RQ4 모델의 불확실성과 재구성 오차는 이미지 내 적대적 영역 식별에 어떤 역할을 하는가?
• RQ5 패치의 크기, 형태, 방향성 등의 요소가 실제 환경에서의 적대적 공격 성공률에 어떤 영향을 미치는가?

주요 결과

• 물리적 적대적 패치는 심한 실세계 왜곡 조건에서도 화이트박스 및 일부 블랙박스 환경에서 잘못된 경고를 성공적으로 유도한다.
• 비지도 방법 중 베이지안 불확실성과 재구성 오차가 뛰어난 성능을 보였으며, 특히 재구성 오차가 비정상적인 이미지 윈도우를 국소화하는 데 뛰어난 효과를 보였다.
• KDE 기반 방법은 클래스별 임계값 설정에 필요한 데이터가 부족해 예측 능력이 제한적이었고, 불확실성 기반 탐지는 특히 결정 경계 근처의 패치에 대해 더 강건한 성능을 보였다.
• 합성적으로 삽입된 패치를 사용한 지도 학습 탐지기는 높은 정밀도를 달성했지만, 새로운 공격 패tern에 대한 일반화 능력은 떨어질 수 있다.
• 오토에인코더 기반 재구성 방법은 적대적 패치 탐지에 효과적이었지만, 고주파 무늬(예: 잎사귀)는 거짓 경고를 유발했으며, 이는 인코딩 과정에서의 정보 손실을 캡처하는 데 초점이 맞춰져 있음을 시사한다.
• 다양한 탐지 신호(예: 불확실성과 재구성 오차의 조합)를 결합해도 불확실성 단독 사용 대비 성능 향상은 미미했으며, 이는 불확실성이 적대적 콘텐츠를 식별하는 데 강력한 독립적 지표임을 시사한다.