[논문 리뷰] Harnessing the Vulnerability of Latent Layers in Adversarially Trained Models

Mayank Singh, Abhishek Sinha외 4명|arXiv (Cornell University)|2019. 05. 13.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 23

한 줄 요약

이 논문은 입력층에서의 강건성에도 불구하고, 적대적 훈련된 모델의 잠재층이 여전히 적대적 공격에 매우 취약하다는 점을 규명한다. 이에 따라 중간 특징층에 대해 적대적 훈련을 수행하는 미세조정 방법인 잠재적 적대적 훈련(Latent Adversarial Training, LAT)을 제안하며, MNIST, CIFAR-10, CIFAR-100, SVHN 및 제한된 ImageNet에서 최신 기술 수준의 적대적 정확도를 달성한다. 이는 적대적 정확도를 4–6% 향상시키고, 테스트 정확도를 1% 향상시킨다.

ABSTRACT

Neural networks are vulnerable to adversarial attacks -- small visually imperceptible crafted noise which when added to the input drastically changes the output. The most effective method of defending against these adversarial attacks is to use the methodology of adversarial training. We analyze the adversarially trained robust models to study their vulnerability against adversarial attacks at the level of the latent layers. Our analysis reveals that contrary to the input layer which is robust to adversarial attack, the latent layer of these robust models are highly susceptible to adversarial perturbations of small magnitude. Leveraging this information, we introduce a new technique Latent Adversarial Training (LAT) which comprises of fine-tuning the adversarially trained models to ensure the robustness at the feature layers. We also propose Latent Attack (LA), a novel algorithm for construction of adversarial examples. LAT results in minor improvement in test accuracy and leads to a state-of-the-art adversarial accuracy against the universal first-order adversarial PGD attack which is shown for the MNIST, CIFAR-10, CIFAR-100 datasets.

연구 동기 및 목표

• 적대적 훈련된 딥 네트워크의 잠재층의 취약성을 조사하는 것.
• 중간 특징 표현을 타깃으로 삼아 최신 기술 수준의 적대적 훈련된 모델의 강건성을 향상시키는 것.
• 테스트 정확도를 희생시키지 않고 적대적 강건성을 향상시키는 새로운 훈련 기법을 개발하는 것.
• 하나의 새로운 잠재층 기반 적대적 공격(Latent Attack, LA)을 제안하여 하위 네트워크의 취약점을 악용하는 것.

제안 방법

• LAT는 선택된 잠재층 $g_i$에 대해 적대적 훈련을 적용함으로써, 전체 네트워크 $f$와 하위 네트워크 $g_i$의 분류 손실을 가중합산한 손실 함수를 사용하여 적대적 훈련된 모델을 미세조정한다.
• 이 방법은 훈련 중 전체 네트워크와 잠재층의 손실 기여도를 조절하기 위해 하이퍼파ram터 $\omega$를 사용한다.
• 잠재 공격(Latent Attack, LA)은 특징 표현에 대해 기울기 기반 최적화를 수행함으로써, $l_\infty$-유계 적대적 예제를 생성하며, 가장 취약한 잠재층을 타깃으로 삼는다.
• 이 방법은 화이트박스 및_BLK박스 공격 설정 모두에서 강건성을 평가하며, 이는 전이 공격과 밴딧/SPSA 공격을 포함한다.
• 감도 및 일반화를 평가하기 위해 층 깊이, $\omega$, 무작위 층 선택에 대한 분석 실험을 포함한다.
• LAT는 PGD, FGSM 및 $l_2$-유계 PGD 공격을 사용하여 미세조정 중에 강건성 향상을 다양한 공격 유형 간 비교한다.

실험 결과

연구 질문

• RQ1 입력층의 강건성에도 불구하고, 적대적 훈련된 모델의 잠재층은 여전히 작은 적대적 편향에 취약한가?
• RQ2 중간 특징층의 강건성을 향상시키는 것이 딥 네트워크의 전체적인 적대적 강건성을 크게 향상시킬 수 있는가?
• RQ3 잠재층 깊이 및 하이퍼파ram터 $\omega$의 선택이 LAT 미세조정 절차의 성능에 어떤 영향을 미치는가?
• RQ4 잠재층을 타깃으로 삼는 새로운 적대적 공격가 표준 공격인 PGD보다 효과적인 적대적 예제를 생성하는 데 성공할 수 있는가?
• RQ5 LAT는 화이트박스 및 블랙박스 공격 시나리오, 특히 전이 기반 공격에서도 강건성을 향상시키는가?

주요 결과

• 적대적 훈련된 모델의 잠재층은 입력층이 강건함에도 불구하고, $l_\infty$-유계 적대적 편향에 매우 취약하다.
• LAT는 표준 적대적 훈련 대비 CIFAR-10 및 CIFAR-100에서 약 4–6%의 적대적 정확도 향상과 약 1%의 테스트 정확도 향상을 달성한다.
• ResNet-18에서 $g_{11}$ 층을 $\omega = 0.2$로 설정하고 PGD를 사용하여 적대적 훈련을 수행할 경우 최고의 성능을 기록한다.
• LAT로 훈련된 모델은 전이 공격 및 밴딧/SPSA 공격을 포함한 블랙박스 공격에서도 표준 적대적 훈련보다 더 높은 강건성을 보이며, 성능이 뛰어나다.
• 잠재 공격(Latent Attack, LA)은 PGD와 유사한 적대적 공격 성능을 달성함으로써, 잠재층의 취약성이 효과적으로 악용될 수 있음을 보여준다.
• 예를 들어 $g_5$, $g_7$, $g_9$, $g_{11}$와 같은 여러 잠재층 중에서 무작위로 선택하여 훈련하는 경우, 고정된 층에 대한 미세조정과 유사한 성능을 기록함으로써, 층 선택에 대해 강건함을 입증한다.