[논문 리뷰] An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks

Pu Zhao, Sijia Liu외 2명|arXiv (Cornell University)|2018. 04. 09.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 딥 네ural 네트워크에서 $L_0$, $L_1$, $L_2$, 및 $L_\infty$ 적대적 공격을 통합하는 ADMM 기반의 유니버설 프레임워크를 제안한다. 이는 최소한의 왜곡으로 고효율적인 최적화 기반의 적대적 예제 생성을 가능하게 하며, 모든 노름에서 100% 공격 성공률를 달성하고 최신 기술 수준의 왜곡 감소를 이룬다. 기존의 C&W 및 EAD 공격을 포함한 이전 방법들을 능가한다.

ABSTRACT

Deep neural networks (DNNs) are known vulnerable to adversarial attacks. That is, adversarial examples, obtained by adding delicately crafted distortions onto original legal inputs, can mislead a DNN to classify them as any target labels. In a successful adversarial attack, the targeted mis-classification should be achieved with the minimal distortion added. In the literature, the added distortions are usually measured by L0, L1, L2, and L infinity norms, namely, L0, L1, L2, and L infinity attacks, respectively. However, there lacks a versatile framework for all types of adversarial attacks. This work for the first time unifies the methods of generating adversarial examples by leveraging ADMM (Alternating Direction Method of Multipliers), an operator splitting optimization approach, such that L0, L1, L2, and L infinity attacks can be effectively implemented by this general framework with little modifications. Comparing with the state-of-the-art attacks in each category, our ADMM-based attacks are so far the strongest, achieving both the 100% attack success rate and the minimal distortion.

연구 동기 및 목표

• 딥 네URAL 네트워크에서 $L_p$ 노름($L_0$, $L_1$, $L_2$, $L_\infty$)의 여러 가지에 걸쳐 적대적 예제를 생성하기 위한 통합 프레임워크의 부재를 해결하기 위해.
• 최소한의 왜곡을 확보하면서도 높은 공격 성공률를 보장하는 일반 목적의 최적화 기반 공격 방법을 개발하기 위해.
• 방어 기법인 방어적 딜리게이션과 적대적 훈련에 대한 저자의 공격의 강건성을 평가하기 위해.
• ADMM 기반 프레임워크로 생성된 적대적 예제의 다른 모델들과 방어 기법들 간의 전이성에 대해 조사하기 위해.

제안 방법

• 적대적 공격 생성의 비볼록이고 조합 최적화 문제를 두 개의 하위문제로 분해하기 위해 교대 방식의 다중수단법(ADMM)을 활용한다. 하나는 왜곡 업데이트를 위한 것이고, 다른 하나는 제약 조건 이행을 위한 것이다.
• ADMM의 교대 최소화와 확장 라그랑주 함수 프레임워크를 사용하여 $L_p$-노름 제약 최적화 문제를 효율적으로 해결함으로써 선형 수렴 속도를 달성한다.
• 확장 라그랑주 함수 내의 정규화 및 제약 조건 항을 수정하여 ADMM 프레임워크를 다양한 $L_p$ 노름에 적응시키며, 최소한의 코드 변경으로도 네 가지 공격 유형을 모두 지원하는 단일 핵심 알고리즘을 구현한다.
• 모델 아키텍처와 파rameter에 완전한 액세스가 가능한 화이트박스 공격 설정을 사용하며, 목표 레이블로의 오분류를 보장하면서도 왜곡의 $L_p$-노름을 최소화하는 방식으로 공격를 수립한다.
• 모델 예측을 위해 기울기 기반 역전파를 통합하고, ADMM 반복을 통해 적대적 왜곡을 정교화함으로써 공격 성공률와 왜곡 최소화 사이의 균형을 맞춘다.
• ADMM 프레임워크를 사용해 MNIST, CIFAR-10, ImageNet에서 적대적 예제를 생성하고, 방어적 딜리게이션과 적대적 훈련에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 단일의 통합 최적화 프레임워크가 딥 네URAL 네트워크에서 주요 $L_p$ 노름($L_0$, $L_1$, $L_2$, $L_\infty$) 전반에 걸쳐 효과적으로 적대적 예제를 생성할 수 있는가?
• RQ2 C&W 및 EAD와 같은 최신 기술 수준의 공격들과 비교했을 때, ADMM 기반 공격는 다양한 $L_p$ 노름에서 왜곡과 성공률 측면에서 어떻게 성능을 내는가?
• RQ3 ADMM 기반의 적대적 예제는 방어적 딜리게이션과 같은 방어 메커니즘을 얼마나 효과적으로 뛰어넘을 수 있는가?
• RQ4 ADMM 프레임워크로 생성된 적대적 예제는 다른 모델, 특히 방어 기법을 사용하는 타겟 모델로 전이될 정도로 얼마나 높은 전이성을 가지는가?

주요 결과

• ADMM 기반 공격는 MNIST, CIFAR-10, ImageNet에서 모든 $L_p$ 노름($L_0$, $L_1$, $L_2$, $L_\infty$)에서 100% 공격 성공률를 달성하며, 기존 방법들을 능가한다.
• MNIST와 CIFAR-10에서, ADMM 공격의 $L_\infty$ 왜곡은 악성 사례에서 IFGM 공격보다 최대 40% 낮다.
• ImageNet에서, ADMM 공격의 $L_\infty$ 왜곡은 IFGM 공격보다 64% 낮아 최소 왜곡 측면에서 뚜렷한 향상을 보였다.
• 다양한 온도 파rameter($T = 1, 10, 100$)를 가진 방어적 딜리게이션으로 보호된 모델들에 대해 ADMM 공격는 100% 공격 성공률를 달성하며 성공적으로 뚫었다.
• 적대적으로 훈련된 모델에 적용했을 때, ADMM $L_2$ 공격는 세 가지 테스트 네트워크(방어되지 않은 모델, C&W 예제로 훈련된 모델, ADMM 예제로 훈련된 모델)에서 모두 100% 성공률를 유지했으며, 방어된 모델에서는 더 높은 왜곡을 보였고, 이는 방어의 효과성을 시사한다.
• $L_2$ 공격에서, 신뢰도 파rameter $\kappa > 40$일 경우, ADMM로 생성된 예제는 C&W로 생성된 예제보다 더 높은 전이성(transferability)을 보였으며, $\kappa=50$일 때 ADMM의 공격 성공률(ASR)은 거의 98%에 이르렀다.