[논문 리뷰] Enhancing Cross-task Transferability of Adversarial Examples with Dispersion Reduction

Yunhan Jia, Yantao Lu외 3명|arXiv (Cornell University)|2019. 05. 08.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 11

한 줄 요약

이 논문은 심층 합성곱 신경망의 내부 특징 맵의 산포를 최소화하여 다중 작업 간 전이성을 향상시키는 새로운 적대적 공격 기법인 분산 감소(DR)를 제안한다. 다양한 시각 모델에서 공통적으로 나타나는 저수준 특징을 공격 대상으로 삼아, $l_\infty \leq 16$의 편향만으로도 실세계 컴퓨터 비전 API를 77%까지 정확도를 떨어뜨리고, 텍스트 인식에서는 95.9%까지 성능을 저하시키며 최첨단 성능을 달성한다.

ABSTRACT

Neural networks are known to be vulnerable to carefully crafted adversarial examples, and these malicious samples often transfer, i.e., they maintain their effectiveness even against other models. With great efforts delved into the transferability of adversarial examples, surprisingly, less attention has been paid to its impact on real-world deep learning deployment. In this paper, we investigate the transferability of adversarial examples across a wide range of real-world computer vision tasks, including image classification, explicit content detection, optical character recognition (OCR), and object detection. It represents the cybercriminal's situation where an ensemble of different detection mechanisms need to be evaded all at once. We propose practical attack that overcomes existing attacks' limitation of requiring task-specific loss functions by targeting on the `dispersion' of internal feature map. We report evaluation on four different computer vision tasks provided by Google Cloud Vision APIs to show how our approach outperforms existing attacks by degrading performance of multiple CV tasks by a large margin with only modest perturbations.

연구 동기 및 목표

• 보안 중심 응용 분야에서 널리 사용되는 앙상블 객체 검출 시스템 등 다양한 실세계 컴퓨터 비전 작업 간 적대적 전이성의 격차를 해소하기 위해.
• 과도한 작업별 손실 함수(예: 교차 엔트로피)에 의존하지 않고도 분류, 객체 검출, OCR, 명시적 콘텐츠 검출 등 다양한 작업에 널리 적용 가능한 공격 기법을 개발하기 위해.
• 상용으로 배포된 블랙박스 비전 API에서 제안된 방법의 효과성을 평가하여 실제 해커의 공격 시나리오를 시뮬레이션하기 위해.
• 전이 가능한 적대적 예제에 대한 딥 러닝 기반 검출 시스템의 강건성 평가를 위한 벤치마크를 제공하기 위해.

제안 방법

• DR 공격는 특정 중간 합성곱 레이어(예: VGG-16의 conv3.3)에서 특징 맵의 산포를 최소화함으로써 잠재 공간 내 특징 대비를 측정한다.
• 산포는 특정 레이어에서 특징 맵 간 활성화의 분산으로 계산되며, 고정된 초기화 조건($\beta_1=0.98$, $\beta_2=0.99$, $\text{lr}=5\times10^{-2}$)을 가진 Adam 최적화기를 통해 최소화된다.
• 공격는 소스 모델(예: VGG-16 또는 ResNet-152)에 대해 종단 간(end-to-end)으로 적용되며, 생성된 적대적 예제는 블랙박스 Google 클라우드 비전 API에서 테스트된다.
• 과도한 작업별 손실 함수(예: 교차 엔트로피)에 의존하지 않아, OCR 및 객체 검출과 같은 관련 없는 작업으로의 전이가 가능하다.
• 편향는 $l_\infty \leq 16$로 클리핑되어 눈에 띄지 않게 하면서도 전이성을 극대화한다.
• 초기 합성곱 레이어에서 감지되는 저수준 특징이 다양한 시각 모델 간에 매우 유사하므로, 산포 감소는 보편적인 왜곡 메커니즘이 되는 가설을 활용한다.

실험 결과

연구 질문

• RQ1 과도한 작업별 손실 함수에 의존하지 않고도 다양한 실세계 컴퓨터 비전 작업 간 효과적으로 전이되는 적대적 공격를 설계할 수 있는가?
• RQ2 특징 맵의 산포를 줄이는 것이 블랙박스 상용 비전 API로의 적대적 예제 전이성에 어떤 영향을 미치는가?
• RQ3 다중 작업 공격 시나리오에서 산포 감소 기법이 기존의 전이성 향상 공격(예: MI-FGSM, DIM)을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 공격의 효과성이 다양한 시각 모델 간 저수준 특징 유사성과 관련이 있는가?

주요 결과

• DR 공격는 Google 클라우드 비전의 Labels 및 SafeSearch 모델의 정확도를 각각 23%와 35%로 낮혀, SafeSearch를 회피하는 데서 MI-FGSM(38%) 및 DIM(43%)를 능가했다.
• 객체 검출 작업에서는 DR이 mAP를 32.9%로 떨어뜨려, MI-FGSM의 43.2% 및 DIM의 44.1%보다 유의미하게 낮췄다.
• 텍스트 인식 작업에서는 DR이 정확히 인식된 단어 비율(C.R.W.)을 4.1%로 유지했으며, MI-FGSM의 12.3% 및 DIM의 14.5%보다 뛰어난 전이성을 보였다.
• 원본 이미지와의 시각적 유사성은 유지되었으며, $l_\infty \leq 16$의 편향을 통해 눈에 띄지 않음을 확인했다.
• 동일한 소스 모델을 사용해 테스트한 결과, 분류, 객체 검출, 명시적 콘텐츠 검출, OCR의 네 가지 작업 전반에서 DR 공격는 일관된 우수성을 보였다.
• 결과는 초기 합성곱 레이어에서의 산포 감소가 다양한 시각 모델에서 성능 저하를 유도하는 보편적인 왜곡을 유도한다는 가설을 뒷받침한다.