[논문 리뷰] Defending Against Adversarial Attacks by Suppressing the Largest Eigenvalue of Fisher Information Matrix

Chaomin Shen, Yaxin Peng외 2명|arXiv (Cornell University)|2019. 09. 13.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 10

한 줄 요약

이 논문은 손실 함수에 정규화 항을 추가하여 피셔 정보 매트릭스(Fisher Information Matrix, FIM)의 최대 고유값을 억제하는 새로운 방식의 적대적 공격에 대한 방어 기법을 제안한다. FIM의 최대 고유값을 제한함으로써 모델의 소규모 입력 변형에 대한 민감도를 감소시켜, 재학습을 초과하지 않고 단일 피넷팅 단계만으로도 높은 깨끗한 정확도를 유지하면서도 강력한 내성 확보가 가능하다. 이는 여러 네트워크 아키텍처와 데이터셋에서 검증되었다.

ABSTRACT

We propose a scheme for defending against adversarial attacks by suppressing the largest eigenvalue of the Fisher information matrix (FIM). Our starting point is one explanation on the rationale of adversarial examples. Based on the idea of the difference between a benign sample and its adversarial example is measured by the Euclidean norm, while the difference between their classification probability densities at the last (softmax) layer of the network could be measured by the Kullback-Leibler (KL) divergence, the explanation shows that the output difference is a quadratic form of the input difference. If the eigenvalue of this quadratic form (a.k.a. FIM) is large, the output difference becomes large even when the input difference is small, which explains the adversarial phenomenon. This makes the adversarial defense possible by controlling the eigenvalues of the FIM. Our solution is adding one term representing the trace of the FIM to the loss function of the original network, as the largest eigenvalue is bounded by the trace. Our defensive scheme is verified by experiments using a variety of common attacking methods on typical deep neural networks, e.g. LeNet, VGG and ResNet, with datasets MNIST, CIFAR-10, and German Traffic Sign Recognition Benchmark (GTSRB). Our new network, after adopting the novel loss function and retraining, has an effective and robust defensive capability, as it decreases the fooling ratio of the generated adversarial examples, and remains the classification accuracy of the original network.

연구 동기 및 목표

• 결정 경계의 높은 곡률로 인해 발생하는 딥 네ural 네트워크의 적대적 예제에 대한 취약성을 해결하기 위해.
• 피셔 정보 매트릭스(FIM)의 최대 고유값을 제어하는 것이 적대적 공격에 대한 내성 향상에 기여하는지 탐구하기 위해.
• 단일 재학습 단계만으로도 구현이 단순하고 설명 가능하며 효과적인 방어 기법을 개발하기 위해.
• FIM의 최대 고유값을 억제함으로써 다양한 공격 유형과 아키텍처에서 적대적 예제의 오용 비율을 감소시킬 수 있음을 입증하기 위해.
• 기존의 레이블 스무딩과 같은 방어 기법에 비해 정보 기하학의 명확한 수학적 기반을 제공하는 이론적으로 탄탄한 대안을 제공하기 위해.

제안 방법

• 기존 네트워크의 손실 함수에 FIM의 트레이스를 기반으로 한 정규화 항을 도입하여, FIM의 최대 고유값을 제한한다.
• FIM의 최대 고유값이 트레이스에 의해 상한선으로 제한된다는 수학적 관계를 활용하여 간접적 제어를 가능하게 한다.
• KL 발산을 기반으로 출력 확률 분포 간의 거리를 유도하여, 표준 교차 엔트로피 손실에 FIM의 트레이스에 비례하는 항을 추가한다.
• 수정된 손실 함수를 사용해 네트워크를 한 번 재학습함으로써 아키텍처 변경 없이 적대적 내성 특성을 통합한다.
• 정상 예제와 적대적 예제 간의 출력 차이가 FIM를 포함하는 이차형식임을 활용하며, 이때 최대 고유값이 입력 변형에 대한 민감도를 결정한다.
• 방어 성능 검증을 위해 원스탭 스펙트럴 공격(OSSA)을 기준 공격으로 사용하며, FIM의 주요 고유벡터를 활용해 적대적 예제를 생성한다.

실험 결과

연구 질문

• RQ1 FIM의 최대 고유값을 억제함으로써 소규모 입력 변형에 대한 모델 민감도를 감소시켜 적대적 공격에 대한 내성을 향상시킬 수 있는가?
• RQ2 레이블 스무딩과 같은 기존 방법과 비교할 때, 제안된 방어 기법은 내성과 설명 가능성 측면에서 어떻게 비교되는가?
• RQ3 다양한 공격 유형과 데이터셋에서 높은 깨끗한 정확도를 유지하면서도 오용 비율을 크게 감소시키는가?
• RQ4 원본 모델에서 생성된 적대적 예제를 대상 모델로 전이하는 블랙박스 공격에 일반화 가능한가?
• RQ5 반복적 및 단일 단계 공격을 포함한 화이트박스 및 블랙박스 공격 모두에 효과적인가?

주요 결과

• 제안된 방어 기법은 MNIST, CIFAR-10, GTSRB에서 FGSM, BIM, DeepFool, CW, JSMA 등 모든 테스트 공격 유형에 대해 적대적 예제의 오용 비율을 감소시켰다.
• LeNet 기반 MNIST에서 원본 모델의 경우 $l_{\backslash infty}$ 거리가 0.107에서 0.170으로 증가하여 더 강력한 내성을 보였다.
• 원스탭 스펙트럴 공격(OSSA)의 경우, 방어된 모델에서 $\varepsilon=1.0$일 때 적대적 예제를 생성할 수 없었으며, 강력한 저항성을 입증했다.
• 모델 간 블랙박스 테스트에서, 방어된 모델은 원본 모델에서 생성된 적대적 예제를 사용해 97.47%의 정확도를 달성했고, 원본 네트워크는 0%에 그쳤다.
• 모든 거리 측정 지표에서 원본 모델을 초월했으며, 거리 비율은 1:1.3에서 1:1.8 사이로 증가하여 내성이 향상됨을 보였다.
• 깨끗한 정확도를 유지하면서도 내성을 크게 향상시켜, 정확도와 방어 간의 상충관계가 없음을 입증했다 (예: FGSM 기반 MNIST에서 97.47% 정확도).