[論文レビュー] QUOTIENT: Two-Party Secure Neural Network Training and Prediction

Nitin Agrawal, Ali Shahin Shamsabadi+2 more|arXiv (Cornell University)|Jul 8, 2019

Privacy-Preserving Technologies in Data参考文献 53被引用数 29

ひとこと要約

QUOTIENTは、三値化された重みと最適化された安全計算プリミティブを用いて、深層ニューラルネットワークの学習と予測のための画期的な二Party安全プロトコルを導入する。重みの量子化と相関する無知転送に基づく特化したMPCプロトコルを共同設計することで、従来のSecureMLと比較してWANでの学習が50倍速くなり、精度も6%向上する。

ABSTRACT

Recently, there has been a wealth of effort devoted to the design of secure protocols for machine learning tasks. Much of this is aimed at enabling secure prediction from highly-accurate Deep Neural Networks (DNNs). However, as DNNs are trained on data, a key question is how such models can be also trained securely. The few prior works on secure DNN training have focused either on designing custom protocols for existing training algorithms, or on developing tailored training algorithms and then applying generic secure protocols. In this work, we investigate the advantages of designing training algorithms alongside a novel secure protocol, incorporating optimizations on both fronts. We present QUOTIENT, a new method for discretized training of DNNs, along with a customized secure two-party protocol for it. QUOTIENT incorporates key components of state-of-the-art DNN training such as layer normalization and adaptive gradient methods, and improves upon the state-of-the-art in DNN training in two-party computation. Compared to prior work, we obtain an improvement of 50X in WAN time and 6% in absolute accuracy.

研究の動機と目的

• 二Party計算（2PC）環境における深層ニューラルネットワークの実用的でスケーラブルな安全学習プロトコルの不足に対処する。
• 従来の手法が抱える長時間のオフラインフェーズ、現実的でないWAN性能、低精度といった制限を、機械学習アルゴリズムとMPCプロトコルを共同で設計することで克服する。
• 2PCフレームワーク内でのバッチ正規化や適応的勾配法といった現代のDNNコンponentsの安全な学習を可能にする。
• LANおよびWANの両環境で実用的なエンドツーエンドの学習および予測時間を達成し、安全DNN学習を実世界の応用に実現可能にする。
• 精度損失を最小限に抑えつつ強力なプライバシー保証を維持することで、安全DNNと標準DNNの性能格差を埋める。

提案手法

• 前向きおよび逆伝搬の過程でネットワーク重みを{-1, 0, 1}に三値化することで、安全計算の簡素化と通信オーバーヘッドの低減を図る。
• 相関する無知転送を基盤とする、三値行列-ベクトル乗算の特化した安全プロトコルを設計し、効率性を高めるためにブールおよび加法的共有を組み合わせる。
• バックワードパスの最適化として、量子化や正規化といった標準的な演算を、MPCに効率的な代替手法に置き換えることで、モデルの挙動を維持する。
• 埋め込みDNN学習で用いられる固定小数点量子化技術（例：Wuら、2018）を活用し、低精度算術下でも最適化の安定性を確保する。
• 半悪意的セキュリティを備えた二Party計算（2PC）プロトコルを実装し、ラウンドトリップ数と通信負荷を最小限に抑えてWAN展開を可能にする。
• 全結合層、畳み込み層、残差接続をサポートする完全な学習パイプラインにプロトコルを統合し、安全な学習と予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化や適応的最適化法といった複雑なコンponentsを有する現代の深層ニューラルネットワークの学習に対して、安全な二Party計算が実用的になれるか？
• RQ2 機械学習アルゴリズムと安全計算プロトコルを共同設計することで、2PC環境における通信および遅延オーバーヘッドをどのように低減できるか？
• RQ3 重みの三値化が、モデル精度を損なわせることなく、安全DNN学習における効率性をどの程度向上できるか？
• RQ4 通信遅延が性能を支配するWAN環境でも、安全DNN学習がスケーラブルに実現可能か？
• RQ5 学習アルゴリズムと基盤となるMPCプロトコルを共同最適化することで、どの程度の性能および精度の向上が達成できるか？

主な発見

• 2PC-QUOTIENTは、SecureMLと比較してWANでの学習を50倍速くし、3層のMNISTネットワークにおいて4,000時間以上かかっていた学習時間を90時間未満に短縮した。
• LAN上でもSecureMLと比較して5倍速く、ほとんどのモデルで10エポックの学習を12日未満で完了した。
• QUOTIENTはMNISTで99.38%のテスト精度を達成し、収束時の誤差率においてSecureMLより6%の絶対的向上を示した。
• 2PC-QUOTIENTでは、1回の予測がLANでSecureMLの13倍速く、WANでは3倍速く、バッチ予測ではそれぞれ7倍および50倍速くなった。
• 畳み込み層および残差ネットワークの安全な学習が可能であり、2PC環境ではこれまで実現不可能であった重要な進歩を達成した。これは、このようなアーキテクチャに対する最初の実用的2PCソリューションである。
• 通信およびラウンドトリップのオーバーヘッドが最小限に抑えられ、WAN上での遅延はLANの5倍に留まり、従来の手法がWANで実用的でなかったのと比べて顕著に優れている。