[논문 리뷰] Robust Pre-Processing: A Robust Defense Method Against Adversary Attack

Adnan Siraj Rakin, Zhezhi He외 2명|arXiv (Cornell University)|2018. 02. 05.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 탄젠트 활성화, 스무딩, 배치 정규화를 사용하여 적대적 공격에 대한 모델의 강건성을 향상시키는 강건한 사전처리 방법을 제안한다. 이는 적대적 훈련이 필요 없이도 화이트박스 공격 하에서 MNIST에서 98.7%의 정확도를 달성하며, 최신 기술을 초월한다. 또한 청소된 데이터 정확도를 유지한다.

ABSTRACT

Deep learning algorithms and networks are vulnerable to perturbed inputs which are known as the adversarial attack. Many defense methodologies have been investigated to defend such adversarial attack. In this work, we propose a novel methodology to defend the existing powerful attack model. Such attack models have achieved record success against MNIST dataset to force it to miss-classify all of its inputs. Whereas Our proposed defense method robust pre-processing achieves the best accuracy among the current state of the art defenses. It consists of Tanh (hyperbolic tangent) function, smoothing and batch normalization to process the input data which will make it more robust over the adversarial attack. robust pre-processing improves the white box attack accuracy of MNIST from 94.3% to 98.7%. Even with increasing defense when others defenses completely fail, robust pre-processing remains one of the strongest ever reported. Another strength of our defense is that it eliminates the need for adversarial training as it can significantly increase the MNIST accuracy without adversarial training as well. This makes it a more generalized defense method with almost half training overhead and much-improved accuracy. robust pre-processing can also increase the inference accuracy in the face of the powerful attack on CIFAR-10 and SVHN data set as well without much sacrificing clean data accuracy.

연구 동기 및 목표

• 작은, 눈에 띄지 않는 입력 변형을 악용하는 적대적 공격에 취약한 딥러닝 모델의 문제를 해결하기 위해.
• 적대적 훈련에 의존하지 않고도 강건성을 향상시키는 방어 메커니즘을 개발하기 위해.
• 강력한 화이트박스 공격에 대해 강건성을 크게 향상시키면서도 청소된 데이터 정확도를 높게 유지하기 위해.
• MNIST, CIFAR-10, SVHN과 같은 여러 데이터셋에 일반화되며, 청소된 입력에서 성능 저하가 최소화되도록 하기 위해.

제안 방법

• 모델에 입력하기 전에 입력 데이터를 정규화하고 안정화하기 위해 하이퍼볼릭 tangent(Tanh) 함수를 적용한다.
• 적대적 예제에서 특징적인 작은 입력 변형에 대한 민감도를 줄이기 위해 스무딩 연산을 도입한다.
• 입력 분포를 추가로 안정화하고 추론 중 일반화 성능을 향상시키기 위해 배치 정규화를 사용한다.
• 모델 추론 이전에 Tanh, 스무딩, 배치 정규화를 결합한 사전처리 파이프라인을 원시 입력에 적용한다.
• 메인 모델 아키텍처와 독립적인 플러그인 모듈로 작동하여 광범위한 호환성을 제공한다.
• 적대적 훈련을 피하기 위해 입력 변환에 의존하여 본질적으로 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 훈련 없이도 사전처리 파이프라인이 강력한 화이트박스 적대적 공격에 대해 강건성을 향상시킬 수 있는가?
• RQ2 강건한 사전처리가 여러 벤치마크 데이터셋에서 청소된 데이터 정확도에 어떤 영향을 미치는가?
• RQ3 MNIST에서 화이트박스 공격 하에 이 방법이 기존 최신 기술 방어보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 MNIST 외에도 CIFAR-10과 SVHN과 같은 다른 데이터셋으로 일반화되며 청소된 정확도를 유지하는가?

주요 결과

• 강건한 사전처리는 MNIST에서 화이트박스 공격 정확도를 94.3%에서 98.7%로 향상시켜 현재 모든 최신 기술 방어를 능가한다.
• 이 방법은 적대적 훈련이 필요 없이도 MNIST, CIFAR-10, SVHN에서 높은 청소된 데이터 정확도를 유지한다.
• 적대적 훈련 기반 방어 대비 훈련 오버헤드를 약 50% 감소시킨다.
• 공격 강도가 증가함에 따라 다른 방어 기법이 실패할 때조차도 이 방어 기법은 효과를 유지한다.
• 사전처리 파이프라인은 여러 데이터셋에서 강건성을 향상시켜 MNIST를 넘어서 일반화 능력을 입증한다.
• Tanh, 스무딩, 배치 정규화의 조합은 적대적 변형에 저항하는 안정적이고 강건한 입력 변환을 생성한다.