[논문 리뷰] Enhancing Cross-task Black-Box Transferability of Adversarial Examples with Dispersion Reduction

Yantao Lu, Yunhan Jia외 5명|arXiv (Cornell University)|2019. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 복소수 신경망의 중간 특징 맵의 산란도를 최소화함으로써 교차 작업 전이성을 향상시키는 새로운 블랙박스 적대적 공격인 산란도 감소(Dispersion Reduction, DR)를 제안한다. 초기 레이어에서 저수준 특징이 작업 간에 공유되는 바탕으로, 이 방법은 $l_∞ \leq 16$ 범위 내에서 다양한 컴퓨터 비전 작업(분류, 검출, 세분화, 콘텐츠 필터링, 텍스트 인식)의 성능을 떨어뜨리는 흐트러짐을 생성하며, MI-FGSM 및 DIM과 같은 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Neural networks are known to be vulnerable to carefully crafted adversarial examples, and these malicious samples often transfer, i.e., they remain adversarial even against other models. Although great efforts have been delved into the transferability across models, surprisingly, less attention has been paid to the cross-task transferability, which represents the real-world cybercriminal's situation, where an ensemble of different defense/detection mechanisms need to be evaded all at once. In this paper, we investigate the transferability of adversarial examples across a wide range of real-world computer vision tasks, including image classification, object detection, semantic segmentation, explicit content detection, and text detection. Our proposed attack minimizes the ``dispersion'' of the internal feature map, which overcomes existing attacks' limitation of requiring task-specific loss functions and/or probing a target model. We conduct evaluation on open source detection and segmentation models as well as four different computer vision tasks provided by Google Cloud Vision (GCV) APIs, to show how our approach outperforms existing attacks by degrading performance of multiple CV tasks by a large margin with only modest perturbations linf=16.

연구 동기 및 목표

• 특성 기반의 적대적 전이성을 확보하지 못한 블랙박스 공격이 실세계의 앙상블 검출 메커니즘을 사용하는 시스템에서 다양한 컴퓨터 비전 작업으로 전이되는 데 대한 문제를 해결하기 위해.
• 목표 모델을 탐색하거나 작업별 손실 함수에 의존하지 않는 전이 가능한 공격을 개발하기 위해.
• 분류, 객체 검출, 세분화, 명시적 콘텐츠 검출, 텍스트 검출 등의 다양한 컴퓨터 비전 작업에 대해 단일 통합 방법을 사용하여 적대적 예제의 강건성을 향상시키기 위해.
• 보안이 중요한 응용 분야에서 앙상블 기반 검출 시스템에 대한 교차 작업 회피 공격에 대한 강력한 기준을 설정하기 위해.

제안 방법

• 산란도 감소는 중간 합성곱 레이어(예: VGG-16의 conv3.3, ResNet-152의 conv3.8.3)를 대상으로 하여 특징 맵의 산란도를 최소화함으로써 특징 공간 내 시각적 대비의 대체 지표로 작용한다.
• 산란도는 학습률 5e-2와 betas β₁=0.98, β₂=0.99를 사용하는 Adam 최적화기를 통해 최소화되며, 반복적으로 입력을 갱신하여 특징 맵의 분산을 감소시킨다.
• 이 공격은 소스 모델에 종속되지 않으며, 표준 ImageNet 분류 모델(예: VGG-16, ResNet-152)을 서rogate 모델로만 사용한다.
• 예측 타깃이 아닌 내부 특징 통계에 초점을 맞추므로 작업별 손실 함수를 피함으로써 광범위한 전이성을 확보한다.
• 시각적 유사성을 유지하기 위해 흐트러짐은 $l_∞ \leq 16$로 클리핑된다.
• 저수준 특징이 다양한 컴퓨터 비전 모델 간에 공유된다는 가설을 활용하여, 특징 맵의 산란도를 억제함으로써 모든 후행 작업을 균일하게 손상시킨다.

실험 결과

연구 질문

• RQ1 초기 레이어에서 특징 맵의 산란도를 줄임으로써 다양한 컴퓨터 비전 작업 간에 적대적 예제의 교차 작업 전이성이 향상되는가?
• RQ2 목표 모델을 탐색하지 않고도, 작업별 손실 기반 공격(MI-FGSM, DIM 등)과 비교해 산란도 감소 기법은 블랙박스 환경에서 어떻게 성능을 내는가?
• RQ3 단일 간단한 공격 방법이 Google Cloud Vision의 분류, 객체 검출, SafeSearch, 텍스트 검출 서비스를 포함한 다양한 실세계 비전 API의 성능을 어느 정도 떨어뜨릴 수 있는가?
• RQ4 특징 산란도를 최소화함으로써 '특징이 없는' 입력이 되어 모든 후행 작업에서 일관되게 잘못 분류되는가?
• RQ5 이 방법은 앙상블 기반 검출 시스템에서 모델의 강건성 평가를 위한 강력한 일반적 기준이 될 수 있는가?

주요 결과

• DR 공격는 Google Cloud Vision의 Labels 작업에서 상위-1 정확도를 23%로 떨어뜨렸으며, SafeSearch 정확도는 35%로 떨어졌으며, MI-FGSM(38%) 및 DIM(43%)보다 뚜렷하게 뛰어난 성능을 보였다.
• 객체 검출에서는 IoU=0.5일 때 mAP가 32.9%로 떨어졌고, 텍스트 검출에서의 단어 인식 정확도는 4.1%로 떨어졌다.
• ICDAR 2017 벤치마크에서 텍스트 로컬라이제이션 AP는 20.9%로 떨어져, 정위치화 및 인식 모두에서 뚜렷한 성능 저하를 보였다.
• 공격는 원본 이미지와 높은 시각적 유사성을 유지하였으며, $l_∞ \leq 16$를 유지하여 시각적 흐트러짐이 거의 없었다.
• DR는 단일 소스 모델을 사용하고 작업별 손실 함수를 사용하지 않음에도 불구하고, Google Cloud Vision의 네 가지 API—분류, 객체 검출, SafeSearch, 텍스트 검출—모두에서 뛰어난 성능을 달성했다.
• 시각화 결과는 적대적 예제가 여전히 시각적으로 유사하지만, 모든 타겟 모델을 일관되게 속이는 것으로 확인되어, 이 방법의 광범위한 전이성은 검증되었다.