[論文レビュー] XONN: XNOR-based Oblivious Deep Neural Network Inference

M. Sadegh Riazi, Mohammad Samragh+4 more|arXiv (Cornell University)|Feb 19, 2019

Privacy-Preserving Technologies in Data参考文献 57被引用数 112

ひとこと要約

Xonn は、掛け算を XNOR 演算に置換する Garbled Circuits を用いたバイナリニューラルネットワークフレームワークを導入し、前方の GC ベースおよび HE ベースのアプローチに対して大幅なスピードアップを実現しつつ、定常ラウンドのプライバシー保護 DNN 推論を可能にします。

ABSTRACT

Advancements in deep learning enable cloud servers to provide inference-as-a-service for clients. In this scenario, clients send their raw data to the server to run the deep learning model and send back the results. One standing challenge in this setting is to ensure the privacy of the clients' sensitive data. Oblivious inference is the task of running the neural network on the client's input without disclosing the input or the result to the server. This paper introduces XONN, a novel end-to-end framework based on Yao's Garbled Circuits (GC) protocol, that provides a paradigm shift in the conceptual and practical realization of oblivious inference. In XONN, the costly matrix-multiplication operations of the deep learning model are replaced with XNOR operations that are essentially free in GC. We further provide a novel algorithm that customizes the neural network such that the runtime of the GC protocol is minimized without sacrificing the inference accuracy. We design a user-friendly high-level API for XONN, allowing expression of the deep learning model architecture in an unprecedented level of abstraction. Extensive proof-of-concept evaluation on various neural network architectures demonstrates that XONN outperforms prior art such as Gazelle (USENIX Security'18) by up to 7x, MiniONN (ACM CCS'17) by 93x, and SecureML (IEEE S&P'17) by 37x. State-of-the-art frameworks require one round of interaction between the client and the server for each layer of the neural network, whereas, XONN requires a constant round of interactions for any number of layers in the model. XONN is first to perform oblivious inference on Fitnet architectures with up to 21 layers, suggesting a new level of scalability compared with state-of-the-art. Moreover, we evaluate XONN on four datasets to perform privacy-preserving medical diagnosis.

研究の動機と目的

• クライアントデータと結果を秘密に保つ必要があるクラウドベースのプライバシー保護DNN推論を動機付ける。
• 費用の高い行列乗算を Garbled Circuits 内の XNOR 演算に置換する、スケーラブルなエンドツーエンドのフレームワーク（Xonn）を提案する。
• 精度を犠牲にすることなく GC ベース推論に合わせた DNN を設計するための学習およびコンパイルパイプラインを設計する。
• Keras モデルを Xonn 表現に翻訳するための高レベル API とコンパイラを提供する。
• 深いネットワーク（最大 21 層）までのスケーラビリティを示し、医療データセットで評価する。

提案手法

• GC プロトコル内で掛け算を XNOR ベースの計算に置換することで、Binary Neural Networks としてニューラルネットワークを訓練する。
• 正確性と GC コストのバランスを取るためのネットワークカスタマイズワークフロー（Linear Scaling and Network Trimming）を導入する。
• 最初の層の非バイナリ入力を OT ベースのプロトコルを用いて効率的に処理するための Oblivious Transfer-based Obivious Conditional Addition（OCA）を導入する。
• 高レベルモデル（Keras）を Xonn に翻訳するコンパイラを用意し、モデル記述のための高レベル API を提供する。
• 推論待機時間を Gazelle、MiniONN、SecureML などの既存研究と比較し、各層で定数ラウンドの相互作用を実現することを評価する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの深さに依存せず、相互作用ラウンド数を削減した盲目的な DNN 推論をどのように実現できるか。
• RQ2 GC ベースの推論に適した正確な Binary Neural Network を実現するための訓練/剪定戦略は何か。
• RQ3 最初の層の非バイナリ入力をOTベースのプロトコルを用いて、二値重みネットワークと効率的に統合できるか。
• RQ4 Xonn の実用的なレイテンシの利得は、既存の GC ベースおよび HE ベースのプライバシー保護推論フレームワークと比べてどれくらいか。
• RQ5 より深いネットワーク（例: 最大 21 層）へのスケーラビリティはあるか、医療診断データセットに適用可能か。

主な発見

• Xonn は oblivious 推論で Gazelle より最大 7 倍、MiniONN より最大 93 倍の遅延を低減する。
• Xonn は GC/HE ベースの比較で DeepSecure に対して 60 倍、CryptoNets に対して 1859 倍の上回る。
• 二値の重みと活性化を維持しつつ、掛け算を XNOR 演算に置換しても推論精度を維持する。
• Xonn はモデルの深さに依存せず定常ラウンドの相互作用モデルをサポートし、インターネット規模の設定での実用性を向上させる。
• 本研究は最大 21 層のネットワークで oblivious 推論を示し、医療データセット（乳がん、糖尿病、肝疾患、マラリア）で評価する。