[논문 리뷰] Security analysis and enhancement of model compressed deep learning systems under adversarial attacks

Qi Liu, Tao Liu외 4명|arXiv (Cornell University)|2018. 01. 22.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 24

한 줄 요약

이 논문은 해시 기반 압축을 통한 모델 재구성과 입력 변형을 동시에 고려하여 압축된 딥 러닝 모델의 적대적 공격에 대한 취약성을 조사한다. 기울기 억제 방어 기법을 제안하여 MNIST 기준 공격 성공률를 87.99%에서 4.77%로, CIFAR-10 기준 86.74%에서 4.64%로 감소시키며, 정확도 손실은 최소한으로 유지한다.

ABSTRACT

Thanks to recent machine learning model innovation and computing hardware advancement, the state-of-the-art of Deep Neural Network (DNN) is presenting human-level performance for many complex intelligent tasks in real-world applications. However, it also introduces ever-increasing security concerns for those intelligent systems. For example, the emerging adversarial attacks indicate that even very small and often imperceptible adversarial input perturbations can easily mislead the cognitive function of deep learning systems (DLS). Existing DNN adversarial studies are narrowly performed on the ideal software-level DNN models with a focus on single uncertainty factor, i.e. input perturbations, however, the impact of DNN model reshaping on adversarial attacks, which is introduced by various hardware-favorable techniques such as hash-based weight compression during modern DNN hardware implementation, has never been discussed. In this work, we for the first time investigate the multi-factor adversarial attack problem in practical model optimized deep learning systems by jointly considering the DNN model-reshaping (e.g. HashNet based deep compression) and the input perturbations. We first augment adversarial example generating method dedicated to the compressed DNN models by incorporating the software-based approaches and mathematical modeled DNN reshaping. We then conduct a comprehensive robustness and vulnerability analysis of deep compressed DNN models under derived adversarial attacks. A defense technique named gradient inhibition is further developed to ease the generating of adversarial examples thus to effectively mitigate adversarial attacks towards both software and hardware-oriented DNNs. Simulation results show that gradient inhibition can decrease the average success rate of adversarial attacks from 87.99% to 4.77% (from 86.74% to 4.64%) on MNIST (CIFAR-10) benchmark with marginal accuracy degradation across various DNNs.

연구 동기 및 목표

• 모델 최적화 기법인 가중치 압축이 적대적 강건성 분석에서 간과되고 있는 보안 격차를 해결하기 위해.
• 실제 DNN 구현 환경에서 모델 재구성(예: HashNet 기반 압축)과 입력 변형이 적대적 취약성에 미치는 병합된 영향을 조사하기 위해.
• 소프트웨어 수준과 하드웨어 최적화된 DNN 모두에 효과적인 방어 기법을 개발하기 위해.
• 실제 압축 및 공격 환경을 고려하여 다양한 DNN 아키텍처와 벤치마크 데이터셋(MNIST, CIFAR-10)에서 강건성을 평가하기 위해.

제안 방법

• 기존의 적대적 예제 생성 방법에 해시 기반 압축(예: HashNet)의 수학적 모델을 통합하여 실제 하드웨어 최적화된 모델를 시뮬레이션한다.
• 입력 수준의 변형과 모델 압축으로 인한 구조적 변화를 동시에 고려하는 통합 공격 프레임워크를 제안하여 현실적인 적대적 위협 모델링을 가능하게 한다.
• 적대적 예제 생성 중 기울기 흐름을 억제하는 기울기 억제 기법을 제안하여 모델의 적대적 입력에 대한 민감도를 감소시킨다.
• 표준 DNN과 압축된 DNN 모두에 기울기 억제를 통합하여 소프트웨어 및 하드웨어 최적화된 추론 파이프라인 전반에 걸쳐 광범위한 적용 가능성을 확보한다.
• 기울기 마스킹을 통한 반복 최적화를 사용하여 기울기 기반 공격의 효과를 제한하면서도 모델 정확도를 유지한다.
• 다양한 DNN 아키텍처와 압축 수준에서 다양한 압축 및 공격 시나리오를 고려하여 표준 벤치마크(MNIST, CIFAR-10)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 해시 기반 모델 압축(예: HashNet)은 딥 뉴럴 네트워크의 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 실제 DNN 시스템에서 입력 변형과 모델 재구성의 병합된 영향은 얼마나 심각한 적대적 취약성을 악화시키는가?
• RQ3 기울기 억제와 같은 방어 기법은 압축되지 않은 DNN과 압축된 DNN 양쪽 모두에서 공격 성공률를 효과적으로 감소시킬 수 있는가?
• RQ4 압축된 DNN에서 기울기 억제를 적용할 경우, 적대적 강건성과 모델 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 기울기 억제 방어 기법은 MNIST 벤치마크에서 평균 적대적 공격 성공률를 87.99%에서 4.77%로 감소시켰다.
• CIFAR-10 데이터셋에서는 기울기 억제 적용 후 공격 성공률가 86.74%에서 4.64%로 감소하였다.
• 다양한 DNN 아키텍처와 압축 수준에서 기울기 억제 방어 기법은 높은 모델 정확도를 유지하면서도 정확도 손실을 최소한으로 유지하였다.
• 이 연구는 해시 기반 압축을 통한 모델 재구성이 적대적 취약성에 상당한 영향을 미치며, 하드웨어 최적화된 모델에 대해서는 기존의 강건성 분석이 부적절하다는 것을 드러냈다.
• 입력 변형과 모델 압축을 동시에 고려함으로써 실질적인 DNN 구현 환경에서 더 현실적이고 심각한 적대적 위협 모델이 도출됨을 확인하였다.
• 기울기 억제 기법은 소프트웨어 및 하드웨어 중심의 DNN 모두에서 적대적 공격을 효과적으로 완화하며, 광범위한 적용 가능성과 뛰어난 방어 성능을 입증하였다.