[논문 리뷰] Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors

Zuxuan Wu, Ser-Nam Lim외 2명|arXiv (Cornell University)|2019. 10. 31.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 14

한 줄 요약

이 논문은 인쇄된 포스터와 착용 가능한 옷에 대한 실제 세계의 적대적 공격을 체계적으로 연구하며, 주의 깊게 설계된 패치가 물리적 조건에서 최신 기술인 YOLOv2와 Faster R-CNN 같은 객체 검출기들을 성공적으로 회피할 수 있음을 보여준다. 주요 기여는 모델, 데이터셋, 실제 세계의 왜곡에 걸쳐 전이 가능성의 정량적 분석으로, 물리적 변형과 영상 아티팩트가 존재하는 상황에서도 착용형 패치를 통해 최대 50%의 성공률로 검출기 성능이 저하됨을 보여준다.

ABSTRACT

We present a systematic study of adversarial attacks on state-of-the-art object detection frameworks. Using standard detection datasets, we train patterns that suppress the objectness scores produced by a range of commonly used detectors, and ensembles of detectors. Through extensive experiments, we benchmark the effectiveness of adversarially trained patches under both white-box and black-box settings, and quantify transferability of attacks between datasets, object classes, and detector models. Finally, we present a detailed study of physical world attacks using printed posters and wearable clothes, and rigorously quantify the performance of such attacks with different metrics.

연구 동기 및 목표

• 디지털 시뮬레이션에서의 적대적 공격이 객체 검출기의 실제 세계 물리적 구현으로의 전이 가능성에 대해 조사하기.
• 여러 검출기, 데이터셋, 객체 클래스에 걸쳐 블랙박스 및 화이트박스 설정에서 적대적 패치의 효과성을 평가하기.
• 조명, 카메라 왜곡, 천의 변형과 같은 실제 세계의 간섭 변수들이 공격 성능에 미치는 영향을 규명하고 정량화하기.
• 착용 가능한 옷과 인쇄된 포스터에 대해 물리적으로 강건한 적대적 패턴을 개발하고 테스트하며, 성공률과 AP 저하를 측정하기.
• 실제 환경에서 고급 공격 기법(예: TPS, 앙상블 훈련)의 성능을 벤치마킹하고 단순 기초 방법과 비교하기.

제안 방법

• YOLOv2, Faster R-CNN, FCOS를 포함한 여러 객체 검출기에서 객체 존재 확률 점수를 억제하도록 철저히 구성된 목적함수를 사용해 적대적 패치를 훈련시켰다.
• 디지털 시뮬레이션과 인쇄된 포스터, 착용 가능한 셔츠를 활용한 물리적 실험을 병행하여 실제 환경 조건 하에서의 전이 가능성 평가를 수행했다.
• 천의 주름지거나 늘어나는 등의 물리적 변형에 대한 강건성을 향상시키기 위해 TPS 변환과 같은 데이터 증강 기법을 적용했다.
• 다양한 카메라 각도, 거리, 조도 조건에서 표준 지표(평균 정밀도)와 해석 가능한 성공/실패 비율을 측정하여 공격 성공률을 측정했다.
• 카메라 후처리, 흐림 처리, 압축 효과가 공격 성능에 미치는 영향을 분리하기 위해 종이 인형을 사용한 제어 실험을 수행했다.
• 패치 타일링, 경계 반사, 앙상블 훈련 등의 다양한 공격 전략을 비교하여 물리적 환경에서의 강건성에 미치는 영향을 평가했다.

실험 결과

연구 질문

• RQ1 디지털 시뮬레이션에서 훈련된 적대적 패치가 다른 검출기로 전이되는 정도는 어느 정도이며, 이는 디지털 환경과 실제 세계 모두에서 성립하는가?
• RQ2 카메라 압축, 흐림 처리, 후처리와 같은 실제 세계의 영상 효과가 적대적 공격 성능에 어떤 영향을 미치는가?
• RQ3 착용 가능한 옷에 적용된 적대적 패턴이 복잡한 변형과 다양한 시야 조건에서도 객체 검출기를 성공적으로 회피할 수 있는가?
• RQ4 TPS, 반사 타일링 등의 다양한 데이터 증강 전략이 적대적 패치의 물리적 환경 강건성에 어떤 영향을 미치는가?
• RQ5 모델 아키텍처, 데이터셋, 객체 클래스가 적대적 공격의 전이 가능성에 미치는 상대적 영향은 어떠한가?

주요 결과

• COCO 데이터셋에서 훈련된 적대적 패치는 디지털 환경과 물리적 환경 모두에서 YOLOv2와 Faster R-CNN 검출기를 성공적으로 회피했으며, 착용형 셔츠에서는 최대 50%의 성공률를 기록했다.
• 물리적 환경에서의 성능은 디지털 시뮬레이션에 비해 크게 떨어졌으며, 주로 카메라 후처리, 흐림 처리, 압축이 성능 저하의 주요 원인로 규명되었다.
• Yolov2 패치를 사용한 착용형 공격의 성공률가 인쇄된 포스터보다 높았으며, 이는 천의 질감과 변형이 공격의 유효성을 유지하는 데 효과적으로 활용될 수 있음을 시사한다.
• 셔츠 전체를 덮도록 패치를 타일링하거나 반사시키는 것은 성능 저하를 유발하지 않았고, 오히려 공격의 효과성을 유지하는 데 기여했다. 이는 패치가 이러한 구성에 대해 특별히 훈련된 것은 아니었음에도 불구하고 성립한다.
• 훈련 중 비정적 TPS 변환을 사용했을 때 물리적 환경 전이 가능성은 향상되지 않았고 오히려 성능이 저하되었다. 이는 훈련의 불안정성과 변형 패턴에 대한 과적합의 영향일 가능성이 있다.
• FCOS는 다른 검출기들보다 물리적 공격에 더 강건한 편이었으며, 이는 훈련 데이터에 포함된 옷의 질감에 더 민감하게 반응하기 때문일 수 있다.