[논문 리뷰] Adversarial Patch Camouflage against Aerial Detection

Ajaya Adhikari, Richard den Hollander외 10명|arXiv (Cornell University)|2020. 08. 31.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 전체 표면을 커버하지 않아도 되는 작은 패atters 패치를 적용하여 딥러닝 기반 항공 목표물 검출기로부터 대형 군용 기체를 은폐하는 적대적 패치 카모플라주 기법을 제안한다. 이 방법은 최소한의 패치 크기로도 높은 은폐 효과를 달성하며, 무작위 노이즈보다 뛰어난 성능을 보이며, 다양한 검출기 아키텍처 간에 일반화 성능을 보인다.

ABSTRACT

Detection of military assets on the ground can be performed by applying deep learning-based object detectors on drone surveillance footage. The traditional way of hiding military assets from sight is camouflage, for example by using camouflage nets. However, large assets like planes or vessels are difficult to conceal by means of traditional camouflage nets. An alternative type of camouflage is the direct misleading of automatic object detectors. Recently, it has been observed that small adversarial changes applied to images of the object can produce erroneous output by deep learning-based detectors. In particular, adversarial attacks have been successfully demonstrated to prohibit person detections in images, requiring a patch with a specific pattern held up in front of the person, thereby essentially camouflaging the person for the detector. Research into this type of patch attacks is still limited and several questions related to the optimal patch configuration remain open. This work makes two contributions. First, we apply patch-based adversarial attacks for the use case of unmanned aerial surveillance, where the patch is laid on top of large military assets, camouflaging them from automatic detectors running over the imagery. The patch can prevent automatic detection of the whole object while only covering a small part of it. Second, we perform several experiments with different patch configurations, varying their size, position, number and saliency. Our results show that adversarial patch attacks form a realistic alternative to traditional camouflage activities, and should therefore be considered in the automated analysis of aerial surveillance imagery.

연구 동기 및 목표

• 딥러닝 기반 항공 목표물 검출기를 회피할 수 있는 실용적인 카모플라주 방법을 개발하기 위해.
• 작은 적대적 패치가 전체 기체를 검출에서 은폐하는 데 효과적인지 조사하기 위해.
• 패치 구성(크기, 위치, 시각적 급격함, 수량)이 검출 회피 성능에 미치는 영향을 평가하기 위해.
• 적대적 패치가 YOLO, SSD, RetinaNet, Faster R-CNN, Mask R-CNN와 같은 다양한 목표물 검출 모델 간에 일반화되는지 평가하기 위해.
• 디지털 시뮬레이션을 통한 실제 적용 가능성 검증 및 향후 물리적 구현을 위한 준비를 위해.

제안 방법

• YOLO 기반 목표물 검출기에서 기체의 검출 신뢰도를 최소화하도록 타겟 공격 프레임워크를 사용해 적대적 패치를 훈련시키기 위해.
• 기울기 기반 최적화를 통해 오분류를 극대화하고 시각적 왜곡을 최소화하도록 패치 패턴을 최적화하기 위해.
• 패치 크기(작음, 중간, 큼), 위치(체체, 날개, 尾), 시각적 급격함(색상 대비, 질감) 등의 다양한 구성 조건에서 패치 효과를 테스트하기 위해.
• YOLO에서 훈련된 패치를 Faster R-CNN 및 RetinaNet과 같은 다른 검출기에서 테스트하여 이식성 평가하기 위해.
• 실제 드론 감시 조건을 시뮬레이션하기 위해 대규모 항공 이미지 데이터셋을 사용하고, 검출 실패율 측정하기 위해.
• 정밀도-재현율 곡선과 시각적 분석을 활용해 다양한 구성 조건에서의 검출 회피 성능 정량화하기 위해.

실험 결과

연구 질문

• RQ1 작은 적대적 패치가 기체 표면의 일부분만 커버해도 YOLO 기반 목표물 검출기에서 전체 기체를 효과적으로 은폐할 수 있는가?
• RQ2 패치 크기, 위치, 시각적 급격함이 항공 영상에서의 적대적 카모플라주 성공률에 어떤 영향을 미치는가?
• RQ3 YOLO와 같은 특정 검출기에서 훈련된 적대적 패치가 Faster R-CNN나 RetinaNet 같은 다른 목표물 검출 모델로 일반화되는 정도는 어느 정도인가?
• RQ4 재학습 없이도 하나의 적대적 패치 패턴이 전투기와 여객기 등 다양한 종류의 기체를 효과적으로 은폐할 수 있는가?
• RQ5 검출 회피 성능 측면에서 적대적 패치는 무작위 노이즈 패치나 전통적 카모플라주 네트워크보다 어떻게 비교되는가?

주요 결과

• 작은 패치(예: 기체 표면의 10%)라도 하나의 적대적 패치만으로도 YOLO 기반 검출기에서 전체 기체의 검출을 성공적으로 방지할 수 있다.
• 적대적 패치는 유사한 크기의 무작위 노이즈 패치보다 뚜렷한 성능 향상을 보였으며, 검출률에 미치는 영향은 극히 미미했다.
• 패치 효과는 배치 위치에 매우 의존적이었으며, 시각적 주의가 집중되는 곳인 체체나 날개에 배치했을 때 최적의 성능을 보였다.
• 패치는 강력한 이식성을 보였으며, Faster R-CNN 및 RetinaNet을 포함한 여러 목표물 검출기에서 검출을 회피하는 데 성공하여 아키텍처 간 일반화 능력을 입증했다.
• 정밀도-재현율 곡선을 통해 적대적 패치 적용 시 검출 성능이 크게 떨어지는 것으로 나타나 고도의 회피 성공률을 확인했다.
• 결과적으로 적대적 패치 카모플라주는 전통적 카모플라주 네트워크보다 더 실용적이고 효율적인 대안으로 보인다.