[논문 리뷰] Securing Deep Neural Nets against Adversarial Attacks with Moving Target Defense.

Sailik Sengupta, Tathagata Chakraborti외 1명|arXiv (Cornell University)|2017. 05. 19.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 베이지안 스택엘베르크 게임을 통해 앙상블 모델 중에서 동적으로 모델를 선택함으로써 적대적 공격에 대한 딥 네ural 네트워크의 강건성을 향상시키는 메타방어 프레임워크 MTDeep를 제안한다. MNIST, 패션MNIST, ImageNet에서 노이즈가 가해진 이미지에 대한 오분류를 감소시키면서도 정상 데이터에 대한 정확도를 유지하며, 차별 면역이라는 새로운 개념을 통해 기존 방어 기법과의 융합을 가능하게 한다.

ABSTRACT

Present attack methods can make state-of-the-art classification systems based on deep neural networks misclassify every adversarially modified test example. The design of general defense strategies against a wide range of such attacks still remains a challenging problem. In this paper, we draw inspiration from the fields of cybersecurity and multi-agent systems and propose to leverage the concept of Moving Target Defense (MTD) in designing a meta-defense for 'boosting' the robustness of an ensemble of deep neural networks (DNNs) for visual classification tasks against such adversarial attacks. To classify an input image, a trained network is picked randomly from this set of networks by formulating the interaction between a Defender (who hosts the classification networks) and their (Legitimate and Malicious) users as a Bayesian Stackelberg Game (BSG). We empirically show that this approach, MTDeep, reduces misclassification on perturbed images in various datasets such as MNIST, FashionMNIST, and ImageNet while maintaining high classification accuracy on legitimate test images. We then demonstrate that our framework, being the first meta-defense technique, can be used in conjunction with any existing defense mechanism to provide more resilience against adversarial attacks that can be afforded by these defense mechanisms. Lastly, to quantify the increase in robustness of an ensemble-based classification system when we use MTDeep, we analyze the properties of a set of DNNs and introduce the concept of differential immunity that formalizes the notion of attack transferability.

연구 동기 및 목표

• 다양한 종류의 적대적 공격에 대해 최신 딥 네럴 네트워크를 방어하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 기본 모델의 재학습 없이도 일반화 가능한 메타방어 전략을 설계하여 강건성을 향상시키기 위해.
• 앙상블 기반 시스템에서의 강건성 향상 정도를 차별 면역 개념을 통해 공식화하고 정량화하기 위해.
• 기존 방어 기법과의 호환성을 확보하기 위해, 방어 성능 향상을 위한 플러그인 레이어로 기능할 수 있도록 하기 위해.

제안 방법

• 방어자와 사용자(정상 또는 악성) 사이의 베이지안 스택엘베르크 게임으로서 모델 선택을 모델링하며, 각 입력에 대해 앙상블에서 무작위로 DNN를 선택하여 분류한다.
• 방어자의 전략은 공격자의 행동에 대한 불확실성 속에서 기대 효용을 최대화하는 확률적 전략에 기반하여 사전에 훈련된 DNN 집합에서 네트워크를 선택하는 데 있다.
• 이 프레임워크는 앙상블 내 DNN의 본질적 다양성을 활용하여 대상 모델의 예측 불가능성을 높여, 적대적 예제의 전이 가능성을 저하시킨다.
• 이 방어는 기존 DNN의 내부 아키텍처나 가중치를 수정하지 않는 런타임 메커니즘으로서 구현되며, 어떤 기존 방어 기법과도 호환된다.
• 차별 면역은 적대적 편향에 대한 DNN 앙상블의 상대적 강건성을 정량화하기 위한 공식적 측정 기준으로 도입된다.
• 동적 선택 조건에서도 여전히 잘 작동하는 모델을 선택함으로써, 정상 입력에 대한 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 게임 이론 원리를 기반으로 한 동적 모델 선택 전략이 딥 네럴 네트워크의 적대적 공격에 대한 강건성을 향상시키는 데 효과적인가?
• RQ2 제안된 MTDeep 프레임워크는 MNIST, 패션MNIST, ImageNet과 같은 다양한 데이터셋에서 적대적으로 훼손된 이미지에 대한 오분류를 얼마나 줄이는가?
• RQ3 MTDeep는 기존 방어 기법과 얼마나 잘 융합되어 추가적인 강건성 향상을 이룰 수 있는가?
• RQ4 차별 면역 개념은 앙상블 내 다양한 모델 간 적대적 공격의 전이 가능성을 효과적으로 정량화하고 공식화할 수 있는가?

주요 결과

• MTDeep는 MNIST, 패션MNIST, ImageNet에서 적대적으로 훼손된 이미지에 대해 오분류율을 크게 감소시키며, 정상 테스트 이미지에 대한 높은 정확도를 유지한다.
• 이 프레임워크는 기존 방어 기법과 호환되며, 메타방어 레이어로 사용할 경우 추가적인 강건성 향상을 이룬다.
• 차별 면역의 도입은 적대적 전이 공격에 대한 DNN 앙상블의 강건성을 공식적이고 측정 가능한 방식으로 평가할 수 있게 한다.
• 실험 결과는 베이지안 스택엘베르크 게임를 통한 동적 모델 선택이 공격자에게 예측 불가능성을 증가시켜 전이 기반 공격의 성공률을 낮춘다는 것을 확인한다.
• 이 방어 기법은 정상 데이터에 대한 성능도 높게 유지하여, 강건성과 표준 정확도 사이의 상충관계가 없음을 보여준다.
• 이 방법은 일반화 가능하며, 기초 DNN의 재학습이나 아키텍처 변경이 필요 없어 실세계 시스템에 쉽게 구현할 수 있다.