[논문 리뷰] Developing Imperceptible Adversarial Patches to Camouflage Military Assets From Computer Vision Enabled Technologies

Christopher Wise, Jo Plested|arXiv (Cornell University)|2022. 02. 17.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 컴퓨터 시각 기반 탐지 시스템으로부터 대규모 군용 비행기의 정밀한 은폐를 위한 비가시성 있는 적대적 패치를 제안한다. 객체 검출기 대비 높은 공격 성공률과 최소한의 시각적 색상 차이(PerC)를 동시에 최적화함으로써, 인간의 감지에 뚜렷하지 않으면서도 CNN 기반 감시 및 미사일 유도 시스템을 효과적으로 교란하는 강력한 프린터블 패치를 생성한다.

ABSTRACT

Convolutional neural networks (CNNs) have demonstrated rapid progress and a high level of success in object detection. However, recent evidence has highlighted their vulnerability to adversarial attacks. These attacks are calculated image perturbations or adversarial patches that result in object misclassification or detection suppression. Traditional camouflage methods are impractical when applied to disguise aircraft and other large mobile assets from autonomous detection in intelligence, surveillance and reconnaissance technologies and fifth generation missiles. In this paper we present a unique method that produces imperceptible patches capable of camouflaging large military assets from computer vision-enabled technologies. We developed these patches by maximising object detection loss whilst limiting the patch's colour perceptibility. This work also aims to further the understanding of adversarial examples and their effects on object detection algorithms.

연구 동기 및 목표

• AI 기반 감시 및 미사일 유도 시스템으로부터 대규모 이동식 자산(예: 비행기)을 은폐하는 데 도전하는 군사적 과제를 해결하기 위해.
• 사람의 눈에 띄지 않으면서도 객체 검출 모델에 대해 높은 효과성을 유지하는 적대적 패치를 개발하기 위해.
• 이전 연구의 한계를 극복하기 위해 패치가 작고, 현실적인 크기이며, 실제 비행기 적용에 적합하도록 보장하기 위해.
• 실제 영상 조건에서 적대적 강건성과 시각적 은폐성 간의 상호 상충 관계를 탐색하기 위해.
• 향후 방어 응용을 위한 프린터블, 윤곽 인식형, 보편적으로 효과적인 적대적 패치 개발의 기반을 마련하기 위해.

제안 방법

• 이 방법은 이중 최적화 목표를 사용한다: 객체 검출 손실을 최대화하여 검출기를 오도시키고, 시각적 색상(PerC) 거리를 최소화하여 인간의 시각적 감지에 의한 인식을 방지한다.
• 패치 적용 연산자 $ A(p, x, l, t) $ 를 활용하여 패치 $ p $ 를 이미지 $ x $ 의 위치 $ l $ 에 적용하며, 임의의 변환 $ t $ (회전, 스케일링)을 통해 강건성을 향상시킨다.
• 패치 $ \\-hat{p} $ 는 $ \\-hat{p} = \text{argmax}_{\textbf{p}} \mathbb{E}_{x\sim X, t\sim T, l\sim L}[\log \text{Pr}(\hat{y} | A(p,x,l,t))] $ 를 통해 최적화되어 다양한 조건에서의 보편적 성능을 확보한다.
• 시각적 색상(PerC) 거리는 인간의 시각 감도를 더 잘 반영하기 위해 기존의 $ L_\infty $ 경계를 대체하는 인식 가능성 제약 조건으로 사용된다.
• 알고리즘은 검출 손실과 인식 가능성 손실(PerC-AL) 간을 번갈아 업데이트하여 하이퍼파rameter 조정의 필요성을 줄이고 수렴 속도를 향상시킨다.
• 이 방법은 항공기 윤곽에 맞게 패치를 생성하고, 데칼로 인쇄 가능한 방식으로 설계되어 실제 적용에 적합하며, 의미 분할 기반 패치 형상 조정 가능성도 고려한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 시각 시스템에 의해 대규모 군용 비행기의 탐지가 효과적으로 억제되는 비가시적 적대적 패치를 생성할 수 있는가?
• RQ2 기존의 표준 $ L_\infty $ 제약 조건에 비해 시각적 색상(PerC) 거리는 어떻게 비가시적 패치의 인간 시각적 은폐성을 향상시킬 수 있는가?
• RQ3 패치의 크기, 형태, 배치가 실제 적용 환경에서의 강건성과 비가시성에 어떤 영향을 미치는가?
• RQ4 다양한 조명, 시점, 배경 조건에서도 인간 관찰자에게 시각적으로 감지되지 않으면서도 강건한 적대적 패치를 만들 수 있는가?
• RQ5 인식 가능성 손실과 공격 손실 업데이트를 번갈아 적용하는 전략(PerC-AL)은 기존 방법에 비해 패치 생성의 효율성과 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 PerC-AL 방법은 객체 검출 억제 능력이 뛰어나면서도 인간 관찰자에게 거의 인식되지 않는 적대적 패치를 성공적으로 생성하였다.
• PerC 손실을 사용해 훈련된 패치는 $ L_\infty $ 제약 조건을 사용한 경우조차도 인간의 시각적 은폐성에서 뚜렷한 우월성을 보였다.
• 교대로 업데이트하는 전략(PerC-AL)은 공동 최적화에 비해 하이퍼파rameter 조정의 필요성을 줄이고 수렴 속도를 향상시켰다.
• 이 방법은 작고 현실적인 크기이며, 데칼로 인쇄 가능한 패치를 생성하여 항공기 상용 적용에 적합하다.
• 초기 결과는 패치가 다양한 자세와 조명 조건에서 적용되어도 효과가 유지됨을 보여주어 변환에 대한 강력한 일반화 능력을 갖추고 있음을 시사한다.
• 연구는 윤곽 인식형 패치 설계와 의미 분할 기반 접근이 패치의 현실성과 효과성을 더욱 향상시킬 수 있음을 밝혀내었으며, 향후 프린터블, 형상 제약이 있는 적대적 패치 개발의 길을 열었다.