[논문 리뷰] DeepFense: Online Accelerated Defense Against Adversarial Deep Learning

Bita Darvish Rouhani, Mohammad Samragh외 3명|arXiv (Cornell University)|2017. 09. 08.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

DeepFense는 딥 뉴럴 네트워크의 잠재 특징 공간에서 거의 탐색되지 않은 영역을 식별하여 실시간으로 악성 입력을 탐지하는 종단 간, 하드웨어 가속, 비지도 학습 기반 방어 프레임워크를 제안한다. 유해하지 않은 데이터로만 훈련된 모듈형 강건한 부가 자료를 사용하여, CPU 기반 플랫폼 대비 FPGAs에서 최대 193배 높은 성능-와트 비율을 달성하며, 모델 정확도를 훼손하지 않고도 효율적인 온라인 탐지가 가능하다.

ABSTRACT

Recent advances in adversarial Deep Learning (DL) have opened up a largely unexplored surface for malicious attacks jeopardizing the integrity of autonomous DL systems. With the wide-spread usage of DL in critical and time-sensitive applications, including unmanned vehicles, drones, and video surveillance systems, online detection of malicious inputs is of utmost importance. We propose DeepFense, the first end-to-end automated framework that simultaneously enables efficient and safe execution of DL models. DeepFense formalizes the goal of thwarting adversarial attacks as an optimization problem that minimizes the rarely observed regions in the latent feature space spanned by a DL network. To solve the aforementioned minimization problem, a set of complementary but disjoint modular redundancies are trained to validate the legitimacy of the input samples in parallel with the victim DL model. DeepFense leverages hardware/software/algorithm co-design and customized acceleration to achieve just-in-time performance in resource-constrained settings. The proposed countermeasure is unsupervised, meaning that no adversarial sample is leveraged to train modular redundancies. We further provide an accompanying API to reduce the non-recurring engineering cost and ensure automated adaptation to various platforms. Extensive evaluations on FPGAs and GPUs demonstrate up to two orders of magnitude performance improvement while enabling online adversarial sample detection.

연구 동기 및 목표

• 자율 주행 차량과 드론과 같은 안전이 중요한 시간 민감한 딥 러닝 응용 분야에서 실시간, 온라인 방어가 필수적인 이유를 해결하기 위해.
• 백색 공격 설정 하에서 실패하거나 실시간 구현을 위해 하드웨어 가속을 제공하지 못하는 기존 방어 기법의 한계를 극복하기 위해.
• 악성 훈련 데이터가 필요 없고 원본 모델의 정확도를 유지하는 비지도, 모듈형, 하드웨어 최적화된 방어를 개발하기 위해.
• 하드웨어/소프트웨어/알고리즘 공동 설계를 통해 자원이 제한된 플랫폼, 예를 들어 FPGAs에서 방어 메커니즘의 효율적인 즉시 실행을 가능하게 하기 위해.
• 다양한 딥 러닝 모델과 FPGA 플랫폼 간의 원활한 적응을 위한 API를 포함한 자동화, 이식 가능하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• DeepFense는 딥 뉴럴 네트워크 활성화의 잠재 특징 공간에서 거의 관찰되지 않는 영역를 최소화하는 최적화 문제로 악성 방어를 공식화한다.
• 각 모듈이 특정 레이어 내에서 일반적인 데이터 포인트의 확률 밀도 함수 (PDF)를 학습하고, 낮은 밀도의 '위험한' 영역에 위치한 입력을 악성으로 경고하는 모듈형 강건한 부가 자료 (MRR)를 도입한다.
• MRR 모듈은 피해자 DNN 추론과 병렬로 작동하여, 악성 예제를 훈련 중에 필요로 하지 않고도 실시간으로 입력 샘플을 검증할 수 있다.
• 이 프레임워크는 하드웨어/소프트웨어/알고리즘 공동 설계 접근법을 사용하여, FPGAs에서 데이터 경로와 메모리 액세스 패턴을 최적화하여 처리량과 에너지 효율을 극대화한다.
• 사용자 정의 또는 하드웨어 제약 조건에 기반해 강건성과 성능 간의 균형을 동적으로 조정할 수 있는 사용자 정의 가능한 가속기 파이프라인을 사용한다.
• 수반되는 API는 고수준 DNN 기술 서술을 대상 하드웨어에 최적화된 방어 레이아웃으로 변환함으로써, 자동화되고 플랫폼에 종속되지 않는 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 학습 기반 방어 기법은 악성 훈련 데이터 없이도 실시간으로 악성 입력을 탐지할 수 있는가?
• RQ2 자원이 제한된 환경에서 저지연, 고처리량의 온라인 방어를 달성하기 위해 하드웨어 가속을 어떻게 활용할 수 있는가?
• RQ3 모듈형 부가 자료는 원본 모델의 정확도를 떨어뜨리지 않으면서도 적응 가능한 백색 공격에 대해 얼마나 강건한가?
• RQ4 FPGA 전용 최적화와 함께 방어 논리를 공동 설계함으로써 어떤 성능 및 에너지 효율성 향상 효과를 달성할 수 있는가?
• RQ5 다양한 워크로드 하에서 CPU, GPU, FPGA를 포함한 다양한 하드웨어 플랫폼으로의 확장성은 어떻게 평가할 수 있는가?

주요 결과

• UltraScale FPGAs에서 Jetson TK1의 CPU 모드 대비 DeepFense는 성능-와트 비율에서 최대 193배 향상되어 놀라운 에너지 효율성을 입증했다.
• 정상 샘플과 악성 샘플 간 AUC 점수 격차를 0.76에서 0.96으로 감소시켜 탐지 능력이 크게 향상되었다.
• Zynq FPGAs에서 DeepFense는 Jetson TK1 및 TX2의 CPU 모드 대비 각각 38배와 6.2배의 속도 향상을 보였으며, 더 강력한 UltraScale FPGAs에서는 더욱 높은 성능 향상을 기록했다.
• 오직 정상 데이터로만 비지도 MRR 학습을 수행함으로써, 기존에 보지 못한 새로운 악성 공격에 대해서도 정확도 저하 없이 강건성을 확보했다.
• 최소한의 지연 오버헤드로 실시간, 즉시 실행 탐지 기능을 달성하여 시간 민감한 응용 분야에 배포하기에 적합했다.
• 자동화된 API를 통해 다양한 DNN 아키텍처와 FPGA 플랫폼에 대한 방어 프레임워크의 원활하고 저비용 적응이 가능했다.