[논문 리뷰] Evaluating a Simple Retraining Strategy as a Defense Against Adversarial Attacks

Nupur Thakur, Yuzhen Ding외 1명|arXiv (Cornell University)|2020. 07. 20.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 4

한 줄 요약

이 논문은 적대적 이미지를 사용하여 딥 네ural 네트워크를 적대적 공격으로부터 방어하기 위한 간단한 재학습 전략을 평가한다. 재학습 시 적대적 예제를 사용하고, 이에 대해 KNN 기반 방법을 활용해 레이블을 부여함으로써 강건성이 크게 향상됨을 보여주며, 특히 블랙박스 공격에 대해 효과적이다. 반면 화이트박스 공격은 업데이트된 기울기를 접근할 수 있기 때문에 여전히 효과적이다.

ABSTRACT

Though deep neural networks (DNNs) have shown superiority over other techniques in major fields like computer vision, natural language processing, robotics, recently, it has been proven that they are vulnerable to adversarial attacks. The addition of a simple, small and almost invisible perturbation to the original input image can be used to fool DNNs into making wrong decisions. With more attack algorithms being designed, a need for defending the neural networks from such attacks arises. Retraining the network with adversarial images is one of the simplest techniques. In this paper, we evaluate the effectiveness of such a retraining strategy in defending against adversarial attacks. We also show how simple algorithms like KNN can be used to determine the labels of the adversarial images needed for retraining. We present the results on two standard datasets namely, CIFAR-10 and TinyImageNet.

연구 동기 및 목표

• 적대적 예제를 사용한 재학습 전략이 딥 네럴 네트워크의 방어 수단으로서의 효과성을 평가하는 것.
• 원래의 진짜 레이블이 없는 적대적 이미지를 재학습에 활용하기 위해 레이블을 부여하는 문제를 해결하는 것.
• KNN과 같은 간단한 머신 러닝 방법이 적대적 이미지의 진짜 레이블을 정확하게 예측할 수 있는지 탐색하는 것.
• 재학습된 모델이 화이트박스 및 블랙박스 공격에 대해 얼마나 강건한지 평가하는 것.
• 재학습 전략이 실세계 응용에서 실용적이고 경량의 방어 전략이 될 수 있는지 판단하는 것.

제안 방법

• FGSM, DeepFool, GAP 공격를 통해 생성한 적대적 이미지를 원래 학습 세트에 추가하여 사전 학습된 분류기를 재학습하는 방식.
• 원래 학습 이미지와의 유사도를 기반으로 감소된 특징 공간 내에서 K=1의 K-Nearest Neighbor(KNN)를 사용해 적대적 이미지의 진짜 레이블을 예측하는 방법.
• KNN 추론의 효율성을 높이기 위해 입력 차원을 300(이미지의 경우 CIFAR-10) 및 2000(TinyImageNet)으로 감소시키기 위해 주성분 분석(PCA)을 적용하는 방식.
• 다양한 수의 적대적 예제를 사용해 재학습한 후, 원본 및 적대적 테스트 세트에서의 모델 성능을 평가하는 방식.
• 재학습 후 적대적 이미지 중 잘못 분류된 비율을 측정하는 '기만 비율'(fooling ratio)을 방어 효과의 핵심 지표로 사용하는 방식.
• 화이트박스 공격(FGSM, DeepFool, Carlini-Wagner)과 블랙박스 공격(GAP, RP2) 간의 방어 성능을 비교하는 방식.

실험 결과

연구 질문

• RQ1 적대적 예제를 사용해 딥 네럴 네트워크를 재학습하면 적대적 공격에 대한 강건성이 향상되는가?
• RQ2 KNN 기반의 레이블 예측 방법이 재학습을 위한 적대적 이미지에 대해 정확한 레이블을 할당하는 데 얼마나 효과적인가?
• RQ3 재학습 방어 전략은 화이트박스 공격과 블랙박스 공격 모두에 동일하게 효과적인가?
• RQ4 재학습 시 사용된 적대적 예제의 수를 변화시켰을 때 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 재학습 후 기만 비율은 어떻게 변화하며, 이는 모델의 잔여 취약성에 대해 무엇을 시사하는가?

주요 결과

• 100,000개의 적대적 예제를 사용해 재학습한 결과, 적대적 CIFAR-10 이미지에서 정확도가 69.2%로 크게 향상됨.
• CIFAR-10에서 KNN 기반 레이블 예측 방법의 정확도는 98.29%, TinyImageNet에서는 98%를 기록해, 적대적 이미지 레이블 부여에 있어 신뢰할 수 있음을 확인함.
• 재학습 후 기만 비율은 CIFAR-10에서 48.13%, TinyImageNet에서 49.2%로 감소해, 약 절반의 적대적 예제가 정확히 분류됨을 시사함.
• DeepFool 및 Carlini-Wagner와 같은 화이트박스 공격는 재학습 후에도 여전히 효과적이었으며, 재학습된 모델의 업데이트된 기울기를 악용할 수 있었기 때문이다.
• GAP 및 RP2와 같은 블랙박스 공격는 재학습 후 거의 효과를 보이지 않아, 기울기 접근이 없는 공격에 대해 재학습 전략이 강력한 방어 수단임을 시사함.
• 원본 테스트 이미지에서의 정확도는 재학습 후에도 높게 유지되었으며(CIFAR-10 기준 72.3%), 깨끗한 데이터에 대한 성능 저하가 최소한임을 보여줌.