[논문 리뷰] SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud

Zahra Ghodsi, Tianyu Gu외 1명|arXiv (Cornell University)|2017. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 80

한 줄 요약

SafetyNets는 신뢰할 수 없는 클라우드에 대해 DNN 추론을 검증 가능하게 외주할 수 있는 대화식 증명 프로토콜을 도입하여, MNIST와 TIMIT에서 경쟁력 있는 정확도를 유지하면서도 강한 무결성 보장을 제공하는 방식으로 클라이언트/서버 오버헤드를 낮춥니다.

ABSTRACT

Inference using deep neural networks is often outsourced to the cloud since it is a computationally demanding task. However, this raises a fundamental issue of trust. How can a client be sure that the cloud has performed inference correctly? A lazy cloud provider might use a simpler but less accurate model to reduce its own computational load, or worse, maliciously modify the inference results sent to the client. We propose SafetyNets, a framework that enables an untrusted server (the cloud) to provide a client with a short mathematical proof of the correctness of inference tasks that they perform on behalf of the client. Specifically, SafetyNets develops and implements a specialized interactive proof (IP) protocol for verifiable execution of a class of deep neural networks, i.e., those that can be represented as arithmetic circuits. Our empirical results on three- and four-layer deep neural networks demonstrate the run-time costs of SafetyNets for both the client and server are low. SafetyNets detects any incorrect computations of the neural network by the untrusted server with high probability, while achieving state-of-the-art accuracy on the MNIST digit recognition (99.4%) and TIMIT speech recognition tasks (75.22%).

연구 동기 및 목표

• 클라우드 기반 DNN 추론에 대한 신뢰할 수 있는 결과를 동기화하고 신뢰하지 않는 공급자에서의 무결성 위험을 다룬다.
• 신경망을 산술 회로로 표현하는 데 특화된 대화식 증명 프로토콜을 개발한다.
• 클라이언트 검증 오버헤드를 낮추고 서버 증명 생성 비용을 완화하여 실용적인 성능을 확보한다.
• 일반 데이터셋에 대한 접근으로 접근 방식을 시연하여 정확도와 검증 가능성을 유지한다.

제안 방법

• 산술 회로에 대해 end-to-end DNN 추론을 검증하기 위한 특화된 대화식 증명(IP) 프로토콜을 사용한다.
• 신경망을 산술 회로로 표현하고 이차 활성화와 합 풀링을 사용하며, 유한체 F_p에서 작동한다.
• 다중선형 확장과 합-체크 프로토콜(행렬 곱 IP 및 이차 활성화 IP를 포함)을 적용하여 층 계산을 검증한다.
• 최종 활성화 층의 입력을 검증하고 검증자에서 로컬로 최종 출력을 계산하여 네트워크 출력을 정제한다.
• 가중치와 입력을 F_p의 정수로 양자화하고 스케일링 인자 alpha와 beta를 이용해 음영성을 조절하며, 큰 소수(예: 2^61-1)를 선택하여 음성도와 정확도를 제어한다.
• 입력 배치에 걸쳐 증명자와 검증자의 비용을 분산하고 전체 통신 및 음성오류를 한정한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 없는 클라우드가 검증 가능한 정확성 보장을 갖춘 DNN 추론을 어떻게 수행할 수 있는가?
• RQ2 네트워크가 산술 회로로 표현될 때 효과적으로 네트워크 계산을 검증하는 특수 IP 기법은 무엇인가?
• RQ3 유한체 표현을 DNN 추론에 사용하는 실용적 성능 및 정확도에 미치는 영향은 무엇인가?
• RQ4 대역폭과 지연에서 가벼운 verifiable computation 증명이 강한 무결성 보장을 유지하면서도 가능한가?

주요 결과

• FcNN-Quad-3에서 배치 크기 256–2048에 대해 클라이언트 검증 시간이 로컬 실행의 8배에서 80배 빠르다.
• 증명 생성을 위한 서버 오버헤드는 기준 비검증 실행의 5% 미만이다.
• IP 프로토콜 중 클라이언트/서버 간 총 데이터 교환은 배치 크기 2048에 대해 8 KBytes 이하이다.
• 실용적인 네트워크 매개변수에서 음성성 오류는 1/2^30 미만이다.
• SafetyNets는 MNIST(99.4%) 및 TIMIT(75.22%)에서 최첨단 유사 정확도를 달성한다.
• 양자화 전략과 소수 선택은 정확도와 유한필드 제약 사이의 균형을 이룬다.