[논문 리뷰] Terminal Brain Damage: Exposing the Graceless Degradation in Deep Neural Networks Under Hardware Fault Attacks

Sanghyun Hong, Pietro Frigo외 3명|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 59인용 수 103

한 줄 요약

본 논문은 Rowhammer와 같은 하드웨어 오류 공격에 의해 유도된 DNN 파라미터의 단일 비트 반전이 19개 모델과 여러 데이터셋에 걸쳐 심각하고 비점진적인 정확도 저하를 초래할 수 있음을 분석하고, 이에 대한 완화책을 제안한다.

ABSTRACT

Deep neural networks (DNNs) have been shown to tolerate "brain damage": cumulative changes to the network's parameters (e.g., pruning, numerical perturbations) typically result in a graceful degradation of classification accuracy. However, the limits of this natural resilience are not well understood in the presence of small adversarial changes to the DNN parameters' underlying memory representation, such as bit-flips that may be induced by hardware fault attacks. We study the effects of bitwise corruptions on 19 DNN models---six architectures on three image classification tasks---and we show that most models have at least one parameter that, after a specific bit-flip in their bitwise representation, causes an accuracy loss of over 90%. We employ simple heuristics to efficiently identify the parameters likely to be vulnerable. We estimate that 40-50% of the parameters in a model might lead to an accuracy drop greater than 10% when individually subjected to such single-bit perturbations. To demonstrate how an adversary could take advantage of this vulnerability, we study the impact of an exemplary hardware fault attack, Rowhammer, on DNNs. Specifically, we show that a Rowhammer enabled attacker co-located in the same physical machine can inflict significant accuracy drops (up to 99%) even with single bit-flip corruptions and no knowledge of the model. Our results expose the limits of DNNs' resilience against parameter perturbations induced by real-world fault attacks. We conclude by discussing possible mitigations and future research directions towards fault attack-resilient DNNs.

연구 동기 및 목표

• 하드웨어 오류 공격 하에서 DNN 파라미터의 단일 비트 반전에 대한 취약성을 평가한다.
• 비트 위치, 반전 방향, 파라미터 부호, 그리고 아키텍처가 취약성에 어떻게 영향을 미치는지 특성화한다.
• 현실적 MLaaS 설정에서 실제적인 공격 시나리오(Rowhammer)를 평가한다.
• DNN의 내결함성 강화를 위한 잠재적 완화책을 식별한다.

제안 방법

• 모델의 모든 파라미터에서 각 비트를 체계적으로 반전시키고 검증 세트에서 오분류율을 측정한다.
• MNIST, CIFAR10, ImageNet에 걸쳐 19개의 DNN 모델을 분석하여 취약한 파라미터(RAD>0.1)를 결정한다.
• 대형 모델을 다루기 위해 속도 향상 휴리스틱(Sampled Validation, Specific Bits, Sampled Parameters)을 사용한다.
• 동일 위치의 MLaaS 시나리오에서 Rowhammer 공격을 시뮬레이션하여 실용적 영향을 평가한다.
• 활성화 크기 제한(ReLU6) 및 가중치의 양자화/이진화와 같은 완화책을 평가한다.

실험 결과

연구 질문

• RQ1 다른 아키텍처와 데이터셋에서 DNN 파라미터가 단일 비트 반전에 얼마나 취약한가?
• RQ2 어떤 비트 위치, 반전 방향, 파라미터 부호가 무차별적 손상(RAD>0.1)에 가장 크게 기여하는가?
• RQ3 Rowhammer와 같은 실제 하드웨어 오류 공격이 동일 위치의 MLaaS 환경에서 큰 정확도 저하를 유발할 수 있는가?
• RQ4 일반적인 학습 기법들(드롭아웃, 배치 정규화)이 단일 비트 취약성을 완화하는가?
• RQ5 정확도 손실을 크게 줄이지 않으면서 취약성을 효과적으로 감소시키는 완화책은 무엇인가?

주요 결과

• 평균적으로 ~50%의 파라미터가 RAD>0.1를 야기하는 단일 비트 반전에 취약하다.
• 일부 파라미터는 특정 비트 반전으로 90%이상의 정확도 손실을 야기할 수 있어 비자비한 저하를 시사한다.
• 취약성은 주로 큰 값의 급등에서 비롯되며 지수 비트(특히 31번째 비트)가 가장 큰 영향을 준다.
• 양의 파라미터는 ReLU 하에서 더 취약하지만 음수 출력을 허용하는 다른 활성화 함수도 음수 파라미터의 위험을 증가시킨다.
• 레이어 폭이 늘어나면 취약한 파라미터 수가 증가하며, 드롭아웃/배치 정규화는 보호 효과가 제한적이다.
• Rowhammer가 활성화된 공격자는 모델 지식 없이도 실용적 시나리오에서 최대 99%의 정확도 하락을 일으킬 수 있다.