[논문 리뷰] Bit-Flip Attack: Crushing Neural Network with Progressive Bit Search

Adnan Siraj Rakin, Zhezhi He외 1명|arXiv (Cornell University)|2019. 03. 28.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 16

한 줄 요약

이 논문은 양자화된 신경망의 가중치 저장소에 포함된 몇몇 핵심 비트만 뒤집는 Bit-Flip Attack (BFA)라는 새로운 방법을 소개한다. 이 방법은 점진적 비트 검색(Progressive Bit Search, PBS)을 활용하여 ResNet-18에서 총 9300만 개 비트 중 13개의 비트만 뒤집어도 상위 1위 정확도가 0.1%로 완전한 모델 실패를 유도하며, DNN 파rameter가 표적 메모리 공격에 매우 취약함을 입증한다.

ABSTRACT

Several important security issues of Deep Neural Network (DNN) have been raised recently associated with different applications and components. The most widely investigated security concern of DNN is from its malicious input, a.k.a adversarial example. Nevertheless, the security challenge of DNN's parameters is not well explored yet. In this work, we are the first to propose a novel DNN weight attack methodology called Bit-Flip Attack (BFA) which can crush a neural network through maliciously flipping extremely small amount of bits within its weight storage memory system (i.e., DRAM). The bit-flip operations could be conducted through well-known Row-Hammer attack, while our main contribution is to develop an algorithm to identify the most vulnerable bits of DNN weight parameters (stored in memory as binary bits), that could maximize the accuracy degradation with a minimum number of bit-flips. Our proposed BFA utilizes a Progressive Bit Search (PBS) method which combines gradient ranking and progressive search to identify the most vulnerable bit to be flipped. With the aid of PBS, we can successfully attack a ResNet-18 fully malfunction (i.e., top-1 accuracy degrade from 69.8% to 0.1%) only through 13 bit-flips out of 93 million bits, while randomly flipping 100 bits merely degrades the accuracy by less than 1%.

연구 동기 및 목표

• 양자화된 딥 네트워크(DNN) 파rameter가 메모리 시스템 내에서 표적 비트 뒤집기 공격에 얼마나 취약한지 조사하는 것.
• 정확도 저하를 극대화하면서도 최소한의 비트 뒤집기로 가장 영향력 있는 비트를 식별하는 체계적인 방법을 개발하는 것.
• 심지어 고도로 양자화되고 압축된 DNN 모델이라도 잘 선택된 소수의 비트 뒤집기로 치명적인 실패를 겪을 수 있음을 입증하는 것.
• 특히 자원이 제한된 환경에서 양자화된 네트워크가 파rameter 변형에 강건하다는 가정을 도전하는 것.

제안 방법

• DNN 가중치를 DRAM에 저장할 때 특정 비트를 뒤집어 정확도를 떨어뜨리는 표적 파rameter 공격인 Bit-Flip Attack (BFA)를 제안한다.
• 각 레이어에서 가장 취약한 비트를 식별하기 위해 기울기 기반 순위와 점진적 탐색을 조합한 반복 알고리즘인 점진적 비트 검색(Progressive Bit Search, PBS)을 도입한다.
• 레이어 내부 및 레이어 간 비트 선택을 반복적으로 수행하며, 각 반복에서 가장 영향력 있는 비트만 뒤집는다.
• 비미분 가능한 양자화된 네트워크에서 효과적인 탐색을 위해 양자화된 가중치에 대한 직접 기울기 계산을 사용하여 기울기 왜곡을 방지한다.
• 학습 및 추론 중에 양자화를 위한 직렬 통과 추정기(straight-through estimator)를 활용하여 표준 양자화된 DNN와의 호환성을 확보한다.
• 다양한 양자화 비트 폭(4, 6, 8비트)을 적용한 여러 아키텍처(ResNet-18, VGG16)와 데이터셋(ImageNet, CIFAR-10)에 공격를 적용한다.

실험 결과

연구 질문

• RQ1 DNN 가중치 저장소에 있는 소수의 전략적 비트 뒤집기가 양자화된 신경망에서 치명적인 실패를 유도할 수 있는가?
• RQ2 비트 뒤집기의 위치(초기 레이어 대비 후기 레이어)가 DNN의 정확도 저하에 어떤 영향을 미치는가?
• RQ3 기울기 왜곡에도 불구하고 기울기 기반 방법이 양자화된 네트워크에서 가장 취약한 비트를 효과적으로 식별할 수 있는가?
• RQ4 양자화 비트 수와 모델을 파손시키기 위해 필요한 비트 뒤집기 수 사이에 상관관계가 있는가?
• RQ5 기하급수적인 탐색 공간(~9300만 비트)을 고려할 때, 기존의 적대적 훈련 방어 기법이 제안된 BFA 공격을 견딜 수 있는가?

주요 결과

• BFA는 총 9300만 개 비트 중 13개의 비트만 뒤집어 ResNet-18의 상위 1위 정확도를 69.8%에서 0.1%로 저하시켰다.
• 100개의 비트를 무작위로 뒤집었을 경우 ResNet-18의 정확도 저하가 1% 미만이었으며, 이는 BFA의 표적 공격 방식이 매우 효율적임을 시사한다.
• VGG16의 첫 번째 합성곱 레이어를 공격하는 것이 마지막 레이어를 공격하는 것보다 훨씬 효과적이었으며(20번의 비트 뒤집기로 정확도 10.06%로 감소), 마지막 레이어 공격는 20번의 비트 뒤집기 후에도 84.61%의 정확도 유지.
• VGG16의 정확도를 10%로 낮추기 위해 필요한 15개 비트 중 9개가 첫 6개 레이어에 위치해 있어 초기 레이어에서 노이즈가 증폭됨을 확인했다.
• 4, 6, 8비트의 다양한 양자화 비트 폭에 걸쳐 공격가 효과적이었으며, 비트 폭과 내성 사이에 명확한 상관관계가 없었다.
• BFA로 생성된 비트 뒤집기 예제를 기반으로 한 적대적 훈련은 탐색 공간이 매우 크기 때문에(약 9300만 비트) 모든 가능한 비트 뒤집기를 방어하는 데는 불가능하여, 정확도 향상에 실패했다.