[논문 리뷰] Mathematical Analysis of Adversarial Attacks

Zehao Dou, Stanley Osher외 1명|arXiv (Cornell University)|2018. 11. 15.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 9

한 줄 요약

이 논문은 적대적 공격의 수학적 분석을 제공하며, 작은 변형을 사용해 어떤 ReLU 활성화를 가진 합성곱 신경망(CNN)을도태시킬 수 있음을 증명한다. 이중층 네트워크에 대해, Carlini-Wagner $L_2$ (CW-L2) 공격이 타겟 클래스와 진짜 클래스 간의 확률 비율을 증가시키며, ResNet56를 사용해 CIFAR-10에서 수치적으로 검증된다.

ABSTRACT

In this paper, we analyze efficacy of the fast gradient sign method (FGSM) and the Carlini-Wagner's L2 (CW-L2) attack. We prove that, within a certain regime, the untargeted FGSM can fool any convolutional neural nets (CNNs) with ReLU activation; the targeted FGSM can mislead any CNNs with ReLU activation to classify any given image into any prescribed class. For a special two-layer neural network: a linear layer followed by the softmax output activation, we show that the CW-L2 attack increases the ratio of the classification probability between the target and ground truth classes. Moreover, we provide numerical results to verify all our theoretical results.

연구 동기 및 목표

• ReLU 활성화를 가진 깊은 신경망에 대한 FGSM 및 CW-L2 공격의 효능을 이론적으로 분석하는 것.
• untargeted 및 targeted FGSM가 어떤 ReLU 활성화를 가진 CNN을 성공적으로 속일 수 있는 조건을 설정하는 것.
• 이중층 네트워크에서 CW-L2 공격이 타겟 클래스와 진짜 클래스 간의 분류 확률 비율에 어떻게 영향을 미치는지 조사하는 것.
• ResNet56를 사용해 CIFAR-10 벤치마크에서 이론적 결과를 수치 실험으로 검증하는 것.
• 실제 응용에서 타겟 및 비타겟 적대적 공격를 적용하기 위한 이론적 지침을 제공하는 것.

제안 방법

• 작은 공격 강도 $\epsilon$ 에 대해, $L_\infty$ 변형 제약 조건 하에서 손실을 최대화함으로써, untaraget FGSM이 어떤 ReLU 활성화를 가진 CNN을 성공적으로 속일 수 있음을 증명한다.
• targeted FGSM 업데이트 규칙을 유도한다: $x' = x - \epsilon \cdot \text{sign}(\nabla_x L(x, e_t))$, 여기서 $e_t$ 는 one-hot 타겟 레이블이다.
• 이중층 네트워크(선형층 + 소프트맥스)에 대해 CW-L2 공격을 분석하여, 타겟 클래스와 진짜 클래스 간의 분류 확률 비율이 증가함을 보여준다.
• 일阶 근사법을 사용해 FGSM 업데이트를 유도한다: $x' = x + \epsilon \cdot \text{sign}(\nabla_x L(x, y))$ 는 비타겟 공격에 대해 적용된다.
• 편차 범위를 유지하기 위해 클리핑을 적용한 반복적 FGSM(IFGSM)을 구현한다: $x^{(m)} = \text{Clip}_{x,\alpha}\{x^{(m-1)} + \epsilon \cdot \text{sign}(\nabla_x L(x^{(m-1)}, y))\}$.
• CW-L2 목적 함수를 수치적으로 검증하기 위해 10회 반복 동안 Adam 최적화기를 사용하며, $c=10$, $\kappa=0$, 학습률 $0.01$ 을 설정한다.

실험 결과

연구 질문

• RQ1 untargeted FGSM 공격이 어떤 ReLU 활성화를 가진 CNN을 성공적으로 속일 수 있는 조건은 무엇인가요?
• RQ2 targeted FGSM 공격가 어떤 입력 이미지를 임의의 지정된 타겟 클래스로 신뢰성 있게 잘못 분류할 수 있나요? ReLU 활성화 네트워크에 대해.
• RQ3 CW-L2 공격는 이중층 네트워크에서 타겟 클래스와 진짜 클래스 간 상대적 분류 확률에 어떻게 영향을 미치나요?
• RQ4 공격 강도 $\epsilon$ 와 ResNet56에서의 FGSM 및 IFGSM 공격 성공률 간의 관계는 무엇인가요?
• RQ5 실제로 CW-L2 공격는 예측 확률 분포를 타겟 클래스 쪽으로 얼마나 이동시키나요?

주요 결과

• 작은 $\epsilon$ 에 대해 untaraget FGSM 공격는 ResNet56에서 분류 정확도를 단조롭게 감소시키며, $\epsilon$ 가 0.1를 초과할수록 정확도가 감소한다.
• targeted FGSM 공격의 성공률은 반복 횟수가 증가함에 따라 증가하며, CIFAR-10에서 $\epsilon = 0.02$ 와 10회의 반복 시 90% 이상에 이를 수 있다.
• $\epsilon \leq 0.015$ 에서는 targeted FGSM의 성공률이 $\epsilon$ 증가에 따라 증가하지만, 이 임계점을 넘어서면 급격히 감소하여 최적의 변형 범위가 존재함을 시사한다.
• CW-L2 공격는 1000장의 고양이 이미지 중 750장을 개로 잘못 분류하며, 클래스 4(고양이)에서 클래스 6(개)로 확률 질량이 이동함을 보여준다.
• CW-L2 공격 후, 고양이 이미지를 클래스 9로 잘못 분류할 확률은 0.0048에서 0.004로 감소하여, 모델이 타겟 클래스에 대해 더 확신을 갖게 됨을 확인한다.
• 수치 결과는 이론적 분석에서 예측한 바와 같이, CW-L2 공격가 타겟 클래스와 진짜 클래스 간의 분류 확률 비율을 증가시킴을 확인한다.