[논문 리뷰] Adversarial-Playground: A Visualization Suite Showing How Adversarial Examples Fool Deep Learning

Andrew P. Norton, Yanjun Qi|arXiv (Cornell University)|2017. 08. 01.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)를 오만하게 만들기 위해 세 가지 공격 방법을 사용하여 사용자가 악성 예제를 생성하고 비교할 수 있도록 허용하는 웹 기반 상호작용 시각화 도구인 ADVERSARIAL-PLAYGROUND를 소개한다. 이 시스템은 클라이언트-서버 아키텍처와 더 빠른 JSMA 알고리즘의 변종(FJSMA)을 통해 성능을 향상시켜 샘플당 1.5초의 응답 시간을 단축시키고 표준 JSMA 대비 두 배 빠른 속도를 달성하면서도 유사한 회피율을 유지한다.

ABSTRACT

Recent studies have shown that attackers can force deep learning models to misclassify so-called "adversarial examples": maliciously generated images formed by making imperceptible modifications to pixel values. With growing interest in deep learning for security applications, it is important for security experts and users of machine learning to recognize how learning systems may be attacked. Due to the complex nature of deep learning, it is challenging to understand how deep models can be fooled by adversarial examples. Thus, we present a web-based visualization tool, Adversarial-Playground, to demonstrate the efficacy of common adversarial methods against a convolutional neural network (CNN) system. Adversarial-Playground is educational, modular and interactive. (1) It enables non-experts to compare examples visually and to understand why an adversarial example can fool a CNN-based image classifier. (2) It can help security experts explore more vulnerability of deep learning as a software module. (3) Building an interactive visualization is challenging in this domain due to the large feature space of image classification (generating adversarial examples is slow in general and visualizing images are costly). Through multiple novel design choices, our tool can provide fast and accurate responses to user requests. Empirically, we find that our client-server division strategy reduced the response time by an average of 1.5 seconds per sample. Our other innovation, a faster variant of JSMA evasion algorithm, empirically performed twice as fast as JSMA and yet maintains a comparable evasion rate. Project source code and data from our experiments available at: https://github.com/QData/AdversarialDNN-Playground

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNNs)의 복잡성과 눈에 띄지 않는 변형으로 인해 악성 예제가 어떻게 딥 러닝 모델을 오만하게 만들지 이해하는 데 어려움이 존재하므로 이를 해결하기 위해.
• 전문가가 아닌 사용자가 악성 예제를 시각적으로 비교하고 모델의 잘못된 분류 원인을 이해할 수 있도록 사용자 友好的이고 상호작용 가능한 플랫폼을 제공하기 위해.
• 보안 전문가가 벤치마킹 프레임워크에 모듈식 통합을 통해 DNN의 취약점을 탐색할 수 있도록 지원하기 위해.
• 이미지 변형과 렲영의 높은 계산 비용으로 인해 악성 예제 생성 및 시각화의 성능 최적화가 필요하므로.
• 원래 JSMA 알고리즘의 더 빠른 변종인 FJSMA를 소개하여 고성능 회피율을 유지하면서도 런타임을 크게 줄이기 위해.

제안 방법

• 서버는 모델 추론과 악성 예제 생성을 담당하고 클라이언트는 렌더링과 시각화를 담당하는 클라이언트-서버 아키텍처를 사용하여 서버 I/O를 줄이고 반응성을 향상시킨다.
• FGSM, PGD, JSMA의 세 가지 악성 공격 방법을 지원하며, 사용자가 파rameter를 조정하고 필요에 따라 악성 예제를 생성할 수 있다.
• 새로운 최적화 기법인 FJSMA(Fast JSMA)는 원래 JSMA 알고리즘을 약간의 변형을 통해 이미지 특징의 부분 집합(k%)에만 변형을 적용함으로써 계산 시간을 줄여주며, 회피 성공률을 훼손하지 않으면서도 성능을 향상시킨다.
• 도구는 모듈식 설계를 통해 다양한 DNN 모델과 데이터셋(MNIST, CIFAR, ImageNet 등)에 통합 가능하며, 새로운 공격 알고리즘에 대한 확장성도 제공한다.
• 서버 측 이미지 생성 및 I/O 작업을 최소화하고 클라이언트 측 렌더링을 통해 사용자 상호작용을 가속화함으로써 성능을 향상시킨다.
• 시스템은 회피율(성공적으로 속인 샘플의 비율)과 샘플당 벽시계 시간을 사용하여 악성 예제의 성공률을 평가한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 악성 예제를 잘못 분류하는 이유를 이해하는 데 도움이 되는 효과적인 시각화 방법은 무엇인가?
• RQ2 실시간으로 상호작용 가능한 악성 예제 시각화를 가능하게 하기 위해 필요한 아키텍처적 및 알고리즘적 최적화는 무엇인가?
• RQ3 JSMA 알고리즘의 더 빠른 근사치(FJSMA)는 런타임을 줄이면서도 높은 회피 성능을 유지할 수 있는가?
• RQ4 클라이언트-서버 분리 전략은 악성 시각화의 응답 시간과 확장성에 어떤 영향을 미치는가?
• RQ5 기본 데이터셋에서 다양한 공격 방법(FGSM, PGD, JSMA)의 성공률과 계산 비용은 얼마나 다를까?

주요 결과

• 클라이언트-서버 아키텍처는 단일 구조 설계 대비 평균 응답 시간을 샘플당 1.5초 감소시켰다.
• FJSMA는 원래 JSMA 알고리즘 대비 약 두 배 빠른 속도를 달성했으며, ϒ = 10%일 때 평균 생성 시간은 FJSMA가 0.415초, JSMA가 0.606초였다.
• 모든 테스트된 ϒ 값에서 FJSMA는 JSMA와 유사한 회피율을 유지했으며, k = 30%일 때 ϒ = 25%에서 FJSMA의 회피율은 0.901로 JSMA의 0.879와 유사했다.
• FJSMA의 파라미터 k를 증가시켜(특징 공간의 10%에서 30%로) 회피율을 향상시킬 수 있었으며, 일부 경우에서 JSMA를 초월하는 성능을 보였다.
• FJSMA 알고리즘은 다양한 k 값에서 런타임에 거의 변화가 없었으며, 이는 MNIST에서 특징 공간 크기와 검색 전략이 성능 저하의 주요 원인이 아님을 시사한다.
• 모듈식이고 상호작용 가능한 설계 덕분에 비전문가는 교육 목적으로, 보안 연구자들은 취약점 분석을 위해 효과적으로 활용할 수 있다.