[논문 리뷰] Pre-trained Adversarial Perturbations

Yuanhao Ban, Yinpeng Dong|arXiv (Cornell University)|2022. 10. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련된 시각 모델이 피지컬 훈련 이전에 대상으로 하는 새로운 유니버설 적대적 공격 방법인 사전 훈련된 적대적 편향(PAPs)을 소개한다. 저수준 레이어 라이징 공격(L4A)을 활용하여 초기 레이어의 활성화를 조작하고, 균일한 가우시안 노이즈 증강을 통해 전이 능력을 향상시킴으로써, PAPs는 10개의 다운스트림 작업에서 피지컬 훈련된 모델에 대해 최대 95.3%에 이르는 높은 공격 성공률을 기록하며 기존 최고 수준의 방법들을 능가한다. 이는 준블랙박스 설정에서 성립한다.

ABSTRACT

Self-supervised pre-training has drawn increasing attention in recent years due to its superior performance on numerous downstream tasks after fine-tuning. However, it is well-known that deep learning models lack the robustness to adversarial examples, which can also invoke security issues to pre-trained models, despite being less explored. In this paper, we delve into the robustness of pre-trained models by introducing Pre-trained Adversarial Perturbations (PAPs), which are universal perturbations crafted for the pre-trained models to maintain the effectiveness when attacking fine-tuned ones without any knowledge of the downstream tasks. To this end, we propose a Low-Level Layer Lifting Attack (L4A) method to generate effective PAPs by lifting the neuron activations of low-level layers of the pre-trained models. Equipped with an enhanced noise augmentation strategy, L4A is effective at generating more transferable PAPs against fine-tuned models. Extensive experiments on typical pre-trained vision models and ten downstream tasks demonstrate that our method improves the attack success rate by a large margin compared with state-of-the-art methods.

연구 동기 및 목표

• 사전 훈련된 모델이 피지컬 훈련 이후에도 효과를 유지하는 적대적 공격에 대한 취약성을 조사한다.
• 사전 훈련에서 피지컬 훈련으로 이르는 파이프라인에 대한 적대적 강건성 평가의 격차를 해결한다.
• 다운스트림 작업의 세부 정보가 알려지지 않은 준블랙박스 설정에서 효과적인 유니버설 적대적 공격 방법을 개발한다.
• 저수준 특징 표현에 초점을 맞춤으로써 피지컬 훈련 간의 적대적 편향의 전이 능력을 향상시킨다.

제안 방법

• 사전 훈련된 모델의 초기 레이어에서 뉴런 활성화를 대상으로 하는 저수준 레이어 라이징 공격(L4A)을 제안한다.
• 피지컬 훈련 동안 저수준 레이어가 덜 수정된다는 관찰을 바탕으로 공격 효과성을 유지한다.
• PAPs의 전이 능력을 향상시키기 위해 균일한 가우시안 샘플링을 활용한 노이즈 증강 전략을 도입한다.
• 편향을 최적화하여 오분류를 극대화하면서도 저수준 특징의 변화를 최소화함으로써 PAPs를 생성한다.
• 편향 생성을 안내하기 위해 저수준 레이어 활성화를 강조하는 손실 함수를 사용한다.
• 일관성과 일반화를 유지하기 위해 모든 모델에 동일한 하이퍼파ram터 설정(μl=0.4, μh=0.6, σl=0.05, σh=0.1)을 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델을 대상으로 제작된 적대적 편향이 피지컬 훈련 후에도 높은 전이 능력을 유지할 수 있는가?
• RQ2 왜 사전 훈련된 모델의 저수준 레이어가 사전 훈련에서 피지컬 훈련으로 이르는 파이프라인에서 유니버설 적대적 공격에 더 좋은 대상이 되는가?
• RQ3 노이즈 증강은 어떻게 유니버설 적대적 편향의 피지컬 훈련 간 전이 능력을 향상시키는가?
• RQ4 고수준 레이어 손실을 포함할 경우, 이 맥락에서 유니버설 적대적 공격 방법의 성능이 얼마나 떨어지는가?
• RQ5 제안된 L4A 방법은 다양한 다운스트림 작업에서 기존의 유니버설 공격 기준 대비 공격 성공률 측면에서 어떻게 비교되는가?

주요 결과

• 기본 L4A 설정을 사용할 경우, ResNet101에서는 평균 공격 성공률 71.90%, ResNet50에서는 72.64%, ViT-Base-16에서는 94.42%를 기록한다.
• 노이즈 증강(L4A ugs)을 적용하면, ResNet101에서는 72.20%, ResNet50에서는 77.80%, ViT-Base-16에서는 95.30%로 공격 성공률이 상승하여 뚜렷한 향상을 보인다.
• 세 가지 사전 훈련된 모델과 10개의 다운스트림 작업에서 모든 기준 방법, 즉 EPGD, UAP, ASV를 모두 능가한다.
• ε=0.05인 픽셀 수준의 편향는 평균 공격 성공률 12.52%에 그치며, 이는 표준 편향이 이 맥락에서 효과적이지 않음을 시사한다.
• 고수준 레이어 손실은 성능을 심각하게 떨어뜨리며, 공격 성공률이 10% 이상 감소함을 확인하여, 저수준 특징에 집중하는 것이 핵심임을 입증한다.
• 하이퍼파ram터 설정(μl=0.4, μh=0.6, σl=0.05, σh=0.1)은 재조정 없이도 다양한 모델에 잘 일반화되어 일관된 성능을 보장한다.