[論文レビュー] SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud

Zahra Ghodsi, Tianyu Gu+1 more|arXiv (Cornell University)|Jun 30, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用数 80

ひとこと要約

SafetyNets は、信頼できないクラウドに対して DNN 推論を検証可能にアウトソーシングする対話型証明プロトコルを導入し、クライアント/サーバーのオーバーヘッドを低く抑えつつ、整合性保証を強力に実現し、MNIST および TIMIT で競争力のある精度を維持します。

ABSTRACT

Inference using deep neural networks is often outsourced to the cloud since it is a computationally demanding task. However, this raises a fundamental issue of trust. How can a client be sure that the cloud has performed inference correctly? A lazy cloud provider might use a simpler but less accurate model to reduce its own computational load, or worse, maliciously modify the inference results sent to the client. We propose SafetyNets, a framework that enables an untrusted server (the cloud) to provide a client with a short mathematical proof of the correctness of inference tasks that they perform on behalf of the client. Specifically, SafetyNets develops and implements a specialized interactive proof (IP) protocol for verifiable execution of a class of deep neural networks, i.e., those that can be represented as arithmetic circuits. Our empirical results on three- and four-layer deep neural networks demonstrate the run-time costs of SafetyNets for both the client and server are low. SafetyNets detects any incorrect computations of the neural network by the untrusted server with high probability, while achieving state-of-the-art accuracy on the MNIST digit recognition (99.4%) and TIMIT speech recognition tasks (75.22%).

研究の動機と目的

• クラウドベースの DNN 推論に対する信頼できる結果を動機づけ、信頼できない提供者から生じる整合性リスクに対処する。
• 演算回路として表現可能なニューラルネットワークに特化した対話型証明プロトコルを開発する。
• 低いクライアント検証オーバーヘッドと控えめなサーバー証明生成コストで実用的な性能を確保する。
• 標準データセットでアプローチを実証し、精度と検証可能性を維持することを示す。

提案手法

• DNN 推論をエンドツーエンドで検証するために、算術回路用の特化した対話型証明 IP プロトコルを使用する。
• 二次活性化と和集合プーリングを用いてニューラルネットワークを算術回路として表現し、有限体 F_p で動作させる。
• 多項式拡張と和チェックプロトコルを適用し（行列乗算 IP と二次活性化 IP を含む）層の計算を検証する。
• 最終活性化層への入力を検証してネットワーク出力を精練し、検証者側で最終出力を局所的に計算する。
• 浮動小数点の重みと入力をスケーリング係数 alpha と beta を介して F_p の整数に量子化し、信頼性と精度を制御するために大きな素数（例: 2^61-1）を選択する。
• 入力バッチに対して発行者と検証者のコストを償却し、総通信量と健全性誤差を制限する。

実験結果

リサーチクエスチョン

• RQ1 信頼できないクラウドが検証可能な正確性保証を伴って DNN 推論を実行するにはどうすればよいか。
• RQ2 ネットワークが算術回路として表現される場合、ニューラルネットワークの計算を効率的に検証するための特化した IP 手法とは何か。
• RQ3 DNN 推論に有限体表現を使用する場合の実用的な性能と精度への影響は何か。
• RQ4 強力な整合性保証を維持しつつ、帯域幅とレイテンシを軽量化した検証可能な計算証明を維持できるか。

主な発見

• FcNN-Quad-3 のクライアント検証時間は、バッチサイズ 256–2048 でローカル実行より8倍〜80倍速い。
• 証明生成のサーバーオーバーヘッドは、基準の未検証実行の5%未満。
• IP プロトコル中に交換される総データ量は、バッチサイズ 2048 で8キロバイト未満。
• 健全性誤差は実用的なネットワークパラメータ全体で 1/2^30 未満。
• SafetyNets は MNIST (99.4%) および TIMIT (75.22%) で最先端に類する精度を達成。
• 量子化戦略と素数の選択は有限体の制約と精度のバランスを取る。