[논문 리뷰] SNIFF: Reverse Engineering of Neural Networks with Fault Attacks

Jakub Breier, Dirmanto Jap외 3명|arXiv (Cornell University)|2020. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 15

한 줄 요약

이 논문은 추론 중 중간 활성화 값의 부호를 뒤집는 방식으로 신경망 가중치와 편향을 증명 가능하고 정확하게 추출할 수 있는 새로운 결함 공격인 SNIFF를 소개한다. Keras에서 64비트 부동소수점 정밀도를 사용할 경우, 이 방법은 기존의 정확한 모델 추출 기술 대비 6개 주문의 개선을 이룩하며, 매개변수 복구 오차가 $10^{-13}$ 이하가 된다.

ABSTRACT

Neural networks have been shown to be vulnerable against fault injection attacks. These attacks change the physical behavior of the device during the computation, resulting in a change of value that is currently being computed. They can be realized by various fault injection techniques, ranging from clock/voltage glitching to application of lasers to rowhammer. In this paper we explore the possibility to reverse engineer neural networks with the usage of fault attacks. SNIFF stands for sign bit flip fault, which enables the reverse engineering by changing the sign of intermediate values. We develop the first exact extraction method on deep-layer feature extractor networks that provably allows the recovery of the model parameters. Our experiments with Keras library show that the precision error for the parameter recovery for the tested networks is less than $10^{-13}$ with the usage of 64-bit floats, which improves the current state of the art by 6 orders of magnitude. Additionally, we discuss the protection techniques against fault injection attacks that can be applied to enhance the fault resistance.

연구 동기 및 목표

• 결함 주입 공격가 신경망 동작을 교란하는 것 외에도 모델 매개변수를 추출하는 데 사용될 수 있는가를 조사하는 것.
• 딥 레이어 특징 추출기 네트워크에서 가중치와 편향을 정확하고 증명 가능한 방식으로 복구하는 방법을 개발하는 것.
• 측면 채널 유사한 물리적 결함 주입을 활용하여 기존의 블랙박스 모델 도용 공격의 한계를 극복하는 것.
• 부호 비트 뒤집기 결함가 높은 정밀도로 완전한 매개변수 정보를 드러낼 수 있는가를 입증하는 것.
• 정확한 복구 정확도를 달성하는 새로운 공격 벡터를 신경망 역공학에 도입하는 것.

제안 방법

• SNIFF 공격는 추론 중 신경망의 중간 활성화 값의 부호를 뒤집는 결함을 주입한다.
• 공격자는 출력 확률의 변화를 관찰함으로써 최종 레이어의 가중치와 편향의 부호와 크기를 추론한다.
• 이 방법은 부호 뒤집힘 활성화와 소프트맥스 출력 사이의 수학적 관계를 활용하여 마지막 레이어 매개변수를 정확하게 복구한다.
• 공격는 특징 추출 이후의 최종 완전히 연결된 레이어(즉, '학생 레이어')에 초점을 맞춘 전이 학습 기반 모델에 적용된다.
• 이 접근법은 최종 레이어의 선형성과 소프트맥스 함수의 입력 부호 변화에 대한 민감성에 의존한다.
• 공격는 64비트 부동소수점 정밀도를 사용하는 Keras 기반 모델에서 제어된 결함 주입을 통해 구현된다.

실험 결과

연구 질문

• RQ1 결함 주입 공격가 단순히 잘못된 분류를 유도하는 데 그치지 않고, 신경망의 정확한 매개변수를 추출하는 데 사용될 수 있는가?
• RQ2 물리적 결함 주입 기술을 사용하여 모델 가중치와 편향을 증명 가능한 정확도로 복구할 수 있는가?
• RQ3 부동소수점 산술의 정밀도가 이러한 공격에서 매개변수 복구 정확도에 어떤 영향을 미치는가?
• RQ4 부호 비트 뒤집기 결함가 깊이 있는 신경망의 최종 레이어를 체계적으로 역공학하는 데 사용될 수 있는가?
• RQ5 이 결함 기반 접근법을 사용한 정확한 모델 추출의 실용적 한계와 요구 조건은 무엇인가?

주요 결과

• Keras에서 64비트 부동소수점 정밀도를 사용할 경우, SNIFF 공격는 매개변수 복구 오차가 $10^{-13}$ 이하로 이루어진다.
• 이 방법은 딥 레이어 특징 추출기 네트워크에서 최종 레이어 가중치와 편향을 증명 가능한 정확도로 복구할 수 있다.
• 공격는 소프트맥스 활성화 함수를 사용하는 모델에 효과적이며, 다른 활성화 함수로도 확장 가능하다.
• 복구 정밀도는 기초 컴퓨터 아키텍처와 사용된 부동소수점 라이브러리에 직접적으로 의존한다.
• 이 작업은 기존의 블랙박스 모델 도용 기술 대비 정확한 모델 추출 분야에서 기술적 진보를 6개 주문 정도 이룩한다.
• 결과는 결함 주입이 기업의 비공개 신경망 모델 역공학에 강력한 물리적 측면 채널이 될 수 있음을 보여준다.