[論文レビュー] Secure Quantized Training for Deep Learning

Marcel Keller, Ke Sun|arXiv (Cornell University)|Jul 1, 2021

Cryptography and Data Security参考文献 35被引用数 11

ひとこと要約

本論文は、マルチパーティ計算（MPC）における深層ニューラルネットワークのエンド・ツー・エンドの安全な量子化学習を初めて提示し、3.5時間でMNISTで99.2%の精度を達成した—平文学習に0.2%以内の差で、指数関数および逆平方根のための新しいMPC最適化プロトコルを用いて。この手法により、誠実および悪意あるセキュリティモデルの両方において、高い効率でプライバシー保護型学習が可能となり、CPU最適化および通信効率の高い設計のおかげで、従来のGPUベースのMPC実装を上回る性能を発揮した。

ABSTRACT

We implement training of neural networks in secure multi-party computation (MPC) using quantization commonly used in said setting. We are the first to present an MNIST classifier purely trained in MPC that comes within 0.2 percent of the accuracy of the same convolutional neural network trained via plaintext computation. More concretely, we have trained a network with two convolutional and two dense layers to 99.2% accuracy in 3.5 hours (under one hour for 99% accuracy). We have also implemented AlexNet for CIFAR-10, which converges in a few hours. We develop novel protocols for exponentiation and inverse square root. Finally, we present experiments in a range of MPC security models for up to ten parties, both with honest and dishonest majority as well as semi-honest and malicious security.

研究の動機と目的

• 深層ニューラルネットワークのマルチパーティ計算（MPC）を用いた安全でプライベートな学習を可能にし、モデル重みやデータが露呈されないことを目的とする。
• MNIST や CIFAR-10 のような標準ベンチマークにおいて、平文学習の性能に近く、高いモデル精度を達成することを目的とする。
• ソフトマックスやAdam/AMSGrad最適化法に不可欠な、指数関数および逆平方根といった計算集約的演算のための効率的なMPCネイティブプロトコルを開発することを目的とする。
• 通信ボトルネックのため、CPUベースのMPC実装が、計算能力に劣るにもかかわらず、GPUベースの実装を上回ることを実証することを目的とする。
• 誠実および不誠実な多数、および半誠実および悪意あるセキュリティモデルをサポートするスケーラブルかつ拡張可能なフレームワークを提供することを目的とする。

提案手法

• 浮動小数点数を $ 2^f $ でスケーリングし、最も近い整数に丸める方法により、固定小数点整数として表現することで、MPC内での効率的な整数演算を可能にする。
• 整数演算（$ \mathbb{Z}_M $）とバイナリ回路（$ \mathbb{Z}_2 $）を組み合わせたミックスド・サーキット計算を用い、非線形関数を安全に計算する。
• ソフトマックスおよびAdam/AMSGrad最適化法に不可欠な指数関数および逆平方根のための新しいMPCプロトコルを導入し、形式的なセキュリティと誤差バウンドを保証する。
• MP-SPDZ MPCフレームワークを基盤とし、PyTorch/TensorFlowに類似したレイヤー単位の合成構造で深層学習モデルを実装するが、高性能を実現するためC++でネイティブに実装する。
• 実際のMPC上で動作を開始する前に、平文エミュレータを用いて学習精度と収束性をベンチマークし、正しさと性能の予測可能性を保証する。
• 量子化された勾配と非線形性の安全な計算を組み合わせたAMSGrad最適化法を採用し、量子化および近似による精度損失を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 安全なマルチパーティ計算は、平文学習と同等の精度で深層ニューラルネットワークの学習を可能にするか？
• RQ2 量子化および指数関数や逆平方根といった非線形演算の安全な計算は、モデル精度と学習効率にどのように影響するか？
• RQ3 通信オーバーヘッドのため、CPUベースのMPCが、GPUベースのMPCを上回る性能を発揮するのか？
• RQ4 AlexNetのような複雑なモデルを、現実的な収束時間でMPC上で効率的に学習できるのか？
• RQ5 異なるMPCセキュリティモデル（誠実対悪意、多数対不誠実多数）は、学習性能とスケーラビリティにどのような影響を与えるか？

主な発見

• 著者らは、2層の畳み込み層と2層の全結合層からなるネットワークをMPC内で完全に学習させ、MNISTで99.2%のテスト精度を達成した。これは平文ベースラインから0.2%以内の差であった。
• 同じモデルは1時間未満で99%の精度に到達し、実世界のプライバシー保護型学習における実用的妥当性を示した。
• AlexNetはCIFAR-10で数時間の学習でMPC上で成功裏に訓練され、より深いアーキテクチャへのスケーラビリティを確認した。
• 指数関数および逆平方根のための新規プロトコルにより、誤差が有界な範囲でソフトマックスおよびAdam/AMSGrad最適化法の正確な計算がMPCで可能になった。
• 通信効率のおかげで、CPUのみを用いたMPC実装が、GPUベースの実装を40%上回る学習速度を達成した。
• フレームワークは、半誠実および悪意あるセキュリティモデルを含め、最大10人の参加者をサポートし、堅牢性と拡張性を示した。