[논문 리뷰] DeepHammer: Depleting the Intelligence of Deep Neural Networks through Targeted Chain of Bit Flips

Fan Yao, Adnan Siraj Rakin외 1명|arXiv (Cornell University)|2020. 03. 30.

Adversarial Robustness in Machine Learning인용 수 59

한 줄 요약

본 논문은 표적 비트 반전(rowhammer)을 이용한 하드웨어 기반 공격이 양자화된 DNN의 추론 정확도를 결정론적으로 무작위 추측 수준으로 떨어뜨리기 위해, 취약한 가중치 비트를 빠르고 메모리 효율적으로 반전시키는 기법을 사용한다는 것을 보여준다.

ABSTRACT

Security of machine learning is increasingly becoming a major concern due to the ubiquitous deployment of deep learning in many security-sensitive domains. Many prior studies have shown external attacks such as adversarial examples that tamper with the integrity of DNNs using maliciously crafted inputs. However, the security implication of internal threats (i.e., hardware vulnerability) to DNN models has not yet been well understood. In this paper, we demonstrate the first hardware-based attack on quantized deep neural networks-DeepHammer-that deterministically induces bit flips in model weights to compromise DNN inference by exploiting the rowhammer vulnerability. DeepHammer performs aggressive bit search in the DNN model to identify the most vulnerable weight bits that are flippable under system constraints. To trigger deterministic bit flips across multiple pages within reasonable amount of time, we develop novel system-level techniques that enable fast deployment of victim pages, memory-efficient rowhammering and precise flipping of targeted bits. DeepHammer can deliberately degrade the inference accuracy of the victim DNN system to a level that is only as good as random guess, thus completely depleting the intelligence of targeted DNN systems. We systematically demonstrate our attacks on real systems against 12 DNN architectures with 4 different datasets and different application domains. Our evaluation shows that DeepHammer is able to successfully tamper DNN inference behavior at run-time within a few minutes. We further discuss several mitigation techniques from both algorithm and system levels to protect DNNs against such attacks. Our work highlights the need to incorporate security mechanisms in future deep learning system to enhance the robustness of DNN against hardware-based deterministic fault injections.

연구 동기 및 목표

• 양자화된 심층 신경망에서 내부 위협에 대한 하드웨어 취약점을 시연한다.
• 표적 비트 반전이 추론 정확도를 결정론적으로 저하시킬 수 있음을 보인다.
• 피해 페이지의 신속한 배치, 메모리 효율적인 rowhammering, 정확한 비트 반전을 위한 시스템 수준 기법을 개발한다.
• 실용성과 영향을 평가하기 위해 다양한 아키텍처와 데이터셋에서 공격을 평가한다.
• 이와 같은 오류에 대한 강인성을 향상시키기 위해 알고리즘 및 시스템 수준의 완화책을 논의한다.

제안 방법

• 시스템 제약하에서 반전 가능하도록 양자화된 DNN의 취약한 가중치 비트를 식별하기 위해 공격적인 비트 검색을 수행한다.
• 다수의 메모리 페이지에 걸쳐 결정론적 비트 반전을 유발하도록 rowhammer 취약점을 이용한다.
• 피해 페이지의 신속한 배치와 메모리 효율적인 rowhammering을 위한 시스템 수준 기법을 개발한다.
• 추론 정확도를 저하시킬 표적 가중치 비트의 정밀 반전을 구현한다.
• 효과성을 평가하기 위해 12개의 DNN 아키텍처를 4개의 데이터셋 및 여러 도메인에 걸쳐 체계적으로 공격한다.
• 알고리즘적 및 구조적 수준의 완화 전략에 대해 논의한다.

실험 결과

연구 질문

• RQ1 양자화된 DNN 가중치의 표적 비트 반전이 추론 정확도를 결정론적으로 저하시킬 수 있는가?
• RQ2 피해 모델 페이지 전반에 걸쳐 빠르고 안정적인 rowhammer 기반 비트 반전을 가능하게 하는 시스템 수준 기법은 무엇인가?
• RQ3 DeepHammer에 의해 몇 개의 아키텍처와 데이터셋이 영향을 받을 수 있으며, 어떤 시간 프레임 내에 가능하는가?
• RQ4 하드웨어 기반 결함 주입에 대한 DNN의 취약성을 줄일 수 있는 완화책은 무엇인가?

주요 결과

• DeepHammer는 런타임 중 수 분 이내에 DNN 추론 동작을 변경할 수 있다.
• 이 공격은 대상 DNN의 추론 정확도를 무작위 추측 수준에 근접하도록 저하시킬 수 있다.
• 평가는 12개의 DNN 아키텍처, 4개의 데이터셋 및 다수의 응용 도메인에 걸쳐 있다.
• 새로운 시스템 수준 기법은 피해 페이지의 신속한 배치, 메모리 효율적인 rowhammering, 그리고 정확한 표적 비트 반전을 가능하게 한다.
• 본 연구는 하드웨어 기반 결정론적 결함 주입으로부터 DNN을 보호하기 위한 보안 메커니즘의 필요성을 강조한다.