[논문 리뷰] XONN: XNOR-based Oblivious Deep Neural Network Inference

M. Sadegh Riazi, Mohammad Samragh외 4명|arXiv (Cornell University)|2019. 02. 19.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 112

한 줄 요약

Xonn은 Garbled Circuits를 이용한 이진 신경망 프레임워크를 소개합니다. 이 프레임워크는 곱셈을 XNOR 연산으로 대체하여 상수 라운드의 프라이버시 보장 DNN 추론을 가능하게 하며, 기존 GC 기반 및 HE 기반 접근법에 비해 상당한 속도 향상을 제공합니다.

ABSTRACT

Advancements in deep learning enable cloud servers to provide inference-as-a-service for clients. In this scenario, clients send their raw data to the server to run the deep learning model and send back the results. One standing challenge in this setting is to ensure the privacy of the clients' sensitive data. Oblivious inference is the task of running the neural network on the client's input without disclosing the input or the result to the server. This paper introduces XONN, a novel end-to-end framework based on Yao's Garbled Circuits (GC) protocol, that provides a paradigm shift in the conceptual and practical realization of oblivious inference. In XONN, the costly matrix-multiplication operations of the deep learning model are replaced with XNOR operations that are essentially free in GC. We further provide a novel algorithm that customizes the neural network such that the runtime of the GC protocol is minimized without sacrificing the inference accuracy. We design a user-friendly high-level API for XONN, allowing expression of the deep learning model architecture in an unprecedented level of abstraction. Extensive proof-of-concept evaluation on various neural network architectures demonstrates that XONN outperforms prior art such as Gazelle (USENIX Security'18) by up to 7x, MiniONN (ACM CCS'17) by 93x, and SecureML (IEEE S&P'17) by 37x. State-of-the-art frameworks require one round of interaction between the client and the server for each layer of the neural network, whereas, XONN requires a constant round of interactions for any number of layers in the model. XONN is first to perform oblivious inference on Fitnet architectures with up to 21 layers, suggesting a new level of scalability compared with state-of-the-art. Moreover, we evaluate XONN on four datasets to perform privacy-preserving medical diagnosis.

연구 동기 및 목표

• 클라이언트 데이터와 결과가 비공개로 유지되어야 하는 프라이버시 보호 클라우드 기반 DNN 추론을 촉진한다.
• 비용이 큰 행렬 곱을 Garbled Circuits 내의 XNOR 연산으로 대체하는 확장 가능한 End-to-End 프레임워크(Xonn)를 제안한다.
• GC 기반 추론에 맞게 정확도를 희생하지 않으면서 DNN을 설계하고 컴파일하는 파이프라인을 설계한다.
• Keras 모델을 Xonn 표현으로 변환하는 고수준 API와 컴파일러를 제공한다.
• 심층 네트워크(최대 21층)까지의 확장성을 시연하고 의료 데이터셋으로 평가한다.

제안 방법

• GC 프로토콜에서 곱셈을 XNOR 기반 연산으로 대체하기 위해 신경망을 Binary Neural Networks로 학습한다.
• 정확도와 GC 비용의 균형을 맞추기 위해 네트워크 커스터마이제이션 워크플로우(Linear Scaling and Network Trimming)를 도입한다.
• 첫 번째 계층의 비이진 입력을 효율적으로 처리하기 위해 OT 기반의 Oblivious Conditional Addition(OCA) 프로토콜을 사용한다.
• 고수준 모델(Keras)을 컴파일러를 통해 Xonn으로 번역하고 모델 설명을 위한 고수준 API를 제공한다.
• 이전 연구(Gazelle, MiniONN, SecureML)에 비해 은닉 추론 지연을 평가하고 계층 간 상수 라운드 상호 작용을 시연한다.

실험 결과

연구 질문

• RQ1 네트워크 깊이에 독립적으로 상호 작용 라운드를 줄인 은닉(DNN) 추론은 어떻게 가능할까?
• RQ2 GC 기반 추론에 적합한 정확한 Binary Neural Networks를 가능하게 하는 학습/가지치기 전략은 무엇인가?
• RQ3 OT 기반 프로토콜을 사용하여 첫 계층의 비이진 입력을 이진 가중치 네트워크에 효율적으로 통합할 수 있는가?
• RQ4 기존 GC 기반 및 HE 기반 프라이버시 보호 추론 프레임워크에 비해 Xonn의 실용적 지연 이점은 무엇인가?
• RQ5 더 깊은 네트워크(예: 최대 21층)로 확장 가능하며 의료 진단 데이터셋에 적용 가능한가?

주요 결과

• Xonn은 망각 추론에서 Gazelle보다 최대 7배, MiniONN보다 최대 93배 낮은 지연을 달성합니다.
• Xonn은 GC/HE 기반 비교에서 DeepSecure보다 60배, CryptoNets보다 1859배 더 좋습니다.
• 곱셈을 XNOR 연산으로 대체하더라도 이진 가중치와 활성화에서 추론 정확도를 유지합니다.
• Xonn은 모델 깊이에 관계없이 상수 라운드 상호 작용 모델을 지원하여 인터넷 규모 환경에서의 실용성을 향상시킵니다.
• 본 연구는 최대 21층의 네트워크에서 은닉 추론을 시연하고 의료 데이터셋(유방암, 당뇨병, 간 질환, 말라리아)을 평가합니다.