[논문 리뷰] Physical Adversarial Attacks on an Aerial Imagery Object Detector

Andrew Du, Bo Chen외 5명|arXiv (Cornell University)|2021. 08. 26.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 위성 영상에서 차량 주변에 인쇄된 적응형 패치를 사용하여 항공 기반 객체 검출기에서 실생활 물리적 적대적 공격을 수행한 최초의 사례 중 하나를 제시한다. 저자들은 차량 외부에 부착된 패치—최적화된 패턴으로 차량을 둘러싸도록 설계된 것—이 대기 및 거리 관련 도전 과제에도 불구하고 실생활 조건에서 객체 검출 신뢰도를 크게 떨어뜨릴 수 있음을 입증한다 (객체 존재 확률 점수 최소 28.8%).

ABSTRACT

Deep neural networks (DNNs) have become essential for processing the vast amounts of aerial imagery collected using earth-observing satellite platforms. However, DNNs are vulnerable towards adversarial examples, and it is expected that this weakness also plagues DNNs for aerial imagery. In this work, we demonstrate one of the first efforts on physical adversarial attacks on aerial imagery, whereby adversarial patches were optimised, fabricated and installed on or near target objects (cars) to significantly reduce the efficacy of an object detector applied on overhead images. Physical adversarial attacks on aerial images, particularly those captured from satellite platforms, are challenged by atmospheric factors (lighting, weather, seasons) and the distance between the observer and target. To investigate the effects of these challenges, we devised novel experiments and metrics to evaluate the efficacy of physical adversarial attacks against object detectors in aerial scenes. Our results indicate the palpable threat posed by physical adversarial attacks towards DNNs for processing satellite imagery.

연구 동기 및 목표

• 위성 플랫폼에서의 딥러닝 기반 객체 검출기에서 물리적 적대적 공격의 가능성과 효과성을 조사하는 것.
• 대기 조건(조명, 날씨, 계절), 장거리 관측 거리, 실생활 이미지 촬영 제약 조건 등 항공 영상 환경에서의 물리적 공격에 특화된 도전 과제를 해결하는 것.
• 차량과 같은 대상 물체를 수정하지 않아도 되는 새로운 적대적 패치 설계를 개발하고 평가하여 실용적 구현 가능성을 확보하는 것.
• 다양한 환경 조건에서 물리적 공격 효과를 평가하기 위한 확장 가능한 실험 프로토콜과 철저한 메트릭스를 설계하는 것.
• 패치 최적화 과정에서 데이터 증강(예: 날씨 효과)이 실생활 성능에 미치는 영향을 평가하여 디지털 도메인 평가에서의 가정을 도전하는 것.

제안 방법

• 항공 영상에서 YOLOv3 기반 차량 검출기의 객체 존재 확률 점수를 최소화하는 타겟 공격 목적을 사용하여 디지털 도메인에서 최적화된 적대적 패치를 설계함.
• 대상 차량을 최적화된 밝기 패턴으로 둘러싸는 새로운 '차량 외부(Off-car)' 패치 설계를 제안하여 차량을 수정하지 않고도 구현 가능하도록 함.
• 훈련 중에 실생활 대기 조건을 시뮬레이션하기 위해 데이터 증강 기법을 적용하였으며, 이는 조명 변화, 날씨 효과(비, 눈), 계절 변화를 포함함.
• 160gsm 코팅지에 최적화된 패치를 인쇄하고 UAV와 고층 빌딩 발코니를 활용하여 위성 수준의 시야를 시뮬레이션한 실생활 항공 영상을 촬영함.
• 다양한 환경 설정에서 평가된 새로운 메트릭스인 평균 객체 존재 확률 감소율(Objecness Score Reduction, OSR)과 정규화된 검출률(Normalized Detection Rate, NDR)을 사용하여 공격 성능을 평가함.
• 다양한 훈련 방식(예: 날씨 증강 유무)과 패치 유형(차량 내부 vs. 차량 외부) 간의 성능 비교를 위한 분석 연구를 수행함.

실험 결과

연구 질문

• RQ1 실생활 항공 영상에서 물리적 적대적 패치를 성공적으로 구현하여 객체 검출기의 성능을 떨어뜨릴 수 있는가?
• RQ2 대기 변화(조명, 날씨, 계절)는 항공 기반 객체 검출기에서의 물리적 적대적 공격의 실생활 효과성에 어떤 영향을 미치는가?
• RQ3 패치 훈련 중에 시뮬레이션된 날씨 및 조명 조건을 증강 기법으로 적용하면 실생활 테스트에서의 내구성이 향상되는가?
• RQ4 차량 외부에 부착하는 '오프카(Off-car)' 패치 설계가 실생활 항공 공격 시나리오에서 차량 내부에 부착하는 패치보다 더 실용적이고 효과적인가?
• RQ5 운동, 조명, 날씨 등의 다양한 환경 요소는 항공 영상에서의 적대적 패치의 탐지 가능성과 효과성에 어떤 영향을 미치는가?

주요 결과

• 실생활 테스트에서 물리적 적대적 패치는 객체 검출 성능을 크게 떨어뜨려 객체 존재 확률 점수를 0.9 이상에서 최소 0.288까지 낮춤.
• 오프카 패치 설계는 측면 도로에 있는 차량에서 평균 객체 존재 확률 감소율이 85%로(0.914에서 0.288로) 측정되어 높은 실용성을 입증함.
• 실생활 테스트에서 차량 내부 패치(Type ON)가 오프카 패치(Type OFF)보다 더 효과적이었으며, 이는 디지털 도메인 결과와 반대되는 결과로 도메인 차이 문제를 시사함.
• 날씨 효과를 포함한 패치 훈련(G/C+W)은 실생활 성능 향상에 기여하지 않았고, 청소된 데이터 훈련(G/C)에 비해 열등함을 입증하여, 이 작업에 있어 날씨 증강이 유익하지 않을 수 있음을 시사함.
• 공격 효과성은 차량 색상과 조명 조건에 따라 크게 달라졌으며, 파란 차량은 가장 효과적인 공격(평균 OSR = 0.208)을 기록했고, 흰 차량은 정적이고 햇빛이 강한 조건에서 가장 영향을 덜 받음(평균 OSR = 0.748).
• 정규화된 검출률(NDR) 메트릭스는 공격이 객체 존재 확률 임계값이 낮을수록 가장 효과적임을 확인하였으며, 가장 성공적인 공격에서는 NDR가 0.3 이하로 떨어짐.