[논문 리뷰] A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks

Jacob M. Springer, Melanie Mitchell외 1명|arXiv (Cornell University)|2021. 06. 03.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 소스 분류기가 작은 적대적 편향에 대해 약간만 강건해지도록 훈련할 경우, 컬러 네트워크와 비전 트랜스포머를 포함한 다양한 아키텍처 간에 목표 지향 적대적 공격의 전이성(transferability)을 크게 향상시킨다는 것을 보여준다. 핵심 통찰은 약간 강건한 모델이 비강건 모델과 일치하는 전이 가능한 특징을 학습한다는 것이다. 이는 매우 효과적인 블랙박스 목표 지향 공격을 가능하게 한다.

ABSTRACT

Adversarial examples for neural network image classifiers are known to be transferable: examples optimized to be misclassified by a source classifier are often misclassified as well by classifiers with different architectures. However, targeted adversarial examples -- optimized to be classified as a chosen target class -- tend to be less transferable between architectures. While prior research on constructing transferable targeted attacks has focused on improving the optimization procedure, in this work we examine the role of the source classifier. Here, we show that training the source classifier to be "slightly robust" -- that is, robust to small-magnitude adversarial examples -- substantially improves the transferability of class-targeted and representation-targeted adversarial attacks, even between architectures as different as convolutional neural networks and transformers. The results we present provide insight into the nature of adversarial examples as well as the mechanisms underlying so-called "robust" classifiers.

연구 동기 및 목표

• 소스 분류기의 강건성이 목표 지향 적대적 예제의 전이성에 영향을 미치는지 조사하는 것.
• 특히 다양한 아키텍처 간에 목표 지향 적대적 예제가 비목표 지향 예제보다 전이성이 낮은 이유를 이해하는 것.
• 약간 강건한 모델이 비강건 모델과 겹치는 특징을 학습하는지 탐색하는 것.
• 적대적 손실 함수와 네트워크 아키텍처가 적대적 전이성에 미치는 역할을 평가하는 것.
• 강건하고 비강건 네트워크 간의 특징 겹침이 전이 학습과 모델 해석 가능성에 미치는 영향을 검토하는 것.

제안 방법

• FGSM 또는 PGD를 사용한 표준 적대적 훈련을 통해 소규모 적대적 편향(ε = 2–4)을 적용하여 '약간 강건한' 행동을 달성하도록 소스 분류기를 훈련시켰다.
• 특정 오분류를 목표로 삼는 최적화를 통해 약간 강건한 소스 네트워크를 사용해 목표 지향 적대적 예제를 생성했다.
• 다양한 아키텍처(예: ResNets, ViT, CLIP)를 가진 블랙박스 타겟 네트워크에 동일한 적대적 예제를 적용하여 전이성을 평가했다.
• 비전 트랜스포머와 CLIP를 포함한 다양한 아키텍처에서 목표 지향 공격 성공률을 측정하여 전이성을 측정했다.
• 비강건, 약간 강건, 매우 강건한 모델을 갖춘 소스 네트워크 간의 전이성을 비교하여 강건성의 영향을 분리했다.
• 표현 타겟 공격을 사용하여 소스 및 타겟 네트워크 간의 특징 유사성을 평가했으며, 적대적 편향이 특징 공간에서 얼마나 잘 전이되는지 측정했다.

실험 결과

연구 질문

• RQ1 소스 분류기를 약간 강건하게 훈련시키는 것이 다른 아키텍처로의 목표 지향 적대적 예제의 전이성에 크게 향상시키는가?
• RQ2 소스 네트워크의 강건성 수준이 비강건 모델과 적대적으로 방어된 모델에 대한 목표 지향 전이 공격 성공률에 어떻게 영향을 미치는가?
• RQ3 약간 강건한 네트워크가 비강건 네트워크와 비슷한 특징을 학습하는가, 즉 다른 목표나 아키텍처로 훈련된 경우에도 마찬가지인가?
• RQ4 약간 강건한 모델에서 생성된 표현 타겟 공격이 비전 트랜스포머를 포함한 다양한 타겟 네트워크로 효과적으로 전이되는가?
• RQ5 약간 강건한 소스 모델을 사용할 때, 적대적 손실 함수가 전이 가능한 목표 지향 예제를 생성하는 데 어떤 역할을 하는가?

주요 결과

• 약간 강건한 CNN에서 생성된 적대적 예제는 다른 CNN뿐만 아니라, ViT, LeViT, CCT와 같은 비전 트랜스포머 아키텍처로도 높은 전이성을 보였다.
• 소스 네트워크가 약간 강건할 경우, 비강건 또는 매우 강건한 모델보다 목표 지향 적대적 예제의 전이성이 뚜렷이 향상된다.
• 약간 강건한 네트워크는 강건한 모델과의 강력한 표현 타겟 공격 전이성을 보이며, 비강건 모델과의 특징 겹침이 크다는 것을 시사한다.
• 비강건 네트워크 간에는 특징 전이성이 뚜렷하게 나타나지 않아, 그들이 학습한 특징이 일관되게 정렬되어 있지 않다는 것을 시사한다.
• 이 방법은 ViT 및 CLIP와 같은 비전 트랜스포머 기반 모델에 대한 첫 번째 알려진 목표 지향 전이 공격을 가능하게 하여 광범위한 아키텍처 적용 가능성을 보여준다.
• 공격 성공은 유사한 아키텍처나 목표에 국한되지 않으며, 예를 들어 ResNet 소스에서 CLIP로의 전이가 이루어지며 성공한다.