[論文レビュー] S++: A Fast and Deployable Secure-Computation Framework for Privacy-Preserving Neural Network Training

Prashanthi Ramachandran, Shivam Agarwal+3 more|arXiv (Cornell University)|Jan 28, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

S++ は、3 パarty 環境下での秘密分散を用いたプライバシー保護型ニューラルネットワーク学習のための高速でデプロイ可能なセキュアコンputationフレームワークです。指数関数と一般的な非線形活性化関数（シグモイド、tanh、ソフトマックス）のための効率的で検証可能なプロトコルを導入し、アーキテクチャの変更なしに標準的なニューラルネットワークのセキュアな学習を可能にします。LAN 環境におけるベンチマークでは、低遅延と通信オーバーヘッドを実現しています。

ABSTRACT

We introduce S++, a simple, robust, and deployable framework for training a neural network (NN) using private data from multiple sources, using secret-shared secure function evaluation. In short, consider a virtual third party to whom every data-holder sends their inputs, and which computes the neural network: in our case, this virtual third party is actually a set of servers which individually learn nothing, even with a malicious (but non-colluding) adversary. Previous work in this area has been limited to just one specific activation function: ReLU, rendering the approach impractical for many use-cases. For the first time, we provide fast and verifiable protocols for all common activation functions and optimize them for running in a secret-shared manner. The ability to quickly, verifiably, and robustly compute exponentiation, softmax, sigmoid, etc., allows us to use previously written NNs without modification, vastly reducing developer effort and complexity of code. In recent times, ReLU has been found to converge much faster and be more computationally efficient as compared to non-linear functions like sigmoid or tanh. However, we argue that it would be remiss not to extend the mechanism to non-linear functions such as the logistic sigmoid, tanh, and softmax that are fundamental due to their ability to express outputs as probabilities and their universal approximation property. Their contribution in RNNs and a few recent advancements also makes them more relevant.

研究の動機と目的

• 複数のデータソースからの学習をプライベートに実行するため、プライベートな入力を露呈せずにニューラルネットワークの学習を可能にすること。
• 従来の MPC ベースのフレームワークが ReLU のみをサポートしていたという制限を克服し、指数関数に基づく活性化関数のサポートを追加すること。
• 3 パarty コンピュテーション（3PC）環境下で、シグモイド、tanh、ソフトマックス、およびその導関数のための効率的で検証可能かつ実用的なプロトコルを提供すること。
• 既存のニューラルネットワークモデルをセキュアな環境で変更なしに使用できるようにすることで、開発者の作業負荷を軽減すること。
• セキュアなニューラルネットワーク学習における実用性のギャップを埋めるために、確率的および普遍的近似関数の完全なサポートを実現すること。

提案手法

• フレームワークは、3 つのサーバー間で加法的秘匿分散を用いており、データ所有者が2つの主要サーバーと1つのヘルパー・サーバーに共有を配布する。
• SCALE MAMBA および Catrina-Saxena のプリミティブに基づく、秘密分散入力を前提とした新しいセキュアな指数関数プロトコルを導入している。
• 指数関数プロトコルは、オーバーフローを防ぎ、ニューラルネットワーク層での利用を可能にするために、Z_128 上の固定小数点演算をサポートしている。
• シグモイド、tanh、およびソフトマックスは、指数関数プロトコルを用いて実装され、バックプロパゲーションをサポートするための安全な算術により導関数が計算される。
• セキュアな環境における指数関数のためのテイラー級数近似が採用されており、小さな入力値を想定した最適化が施されている。
• プロトコルは C++ で実装されており、Z_64 および Z_128 上の固定小数点演算が使用され、LAN ベンチマークにおける通信時間および実行時間の測定が行われている。

実験結果

リサーチクエスチョン

• RQ1 セキュアコンputationフレームワークは、確率的モデリングや普遍的近似に不可欠な ReLU 以外の活性化関数（シグモイド、tanh、ソフトマックス）をサポートできるか？
• RQ2 3 パarty 秘密分散環境下で、ニューラルネットワーク学習に使用するための効率的で検証可能な指数関数の実装はどのように可能か？
• RQ3 ReLU 僅在过渡期のアプローチと比較して、複雑な活性化関数のサポートを追加した場合の、セキュアなニューラルネットワーク学習における性能オーバーヘッドはどの程度か？
• RQ4 指数関数に基づく活性化関数を用いる場合、既存のニューラルネットワークモデルをアーキテクチャの変更なしにセキュアにデプロイできるか？
• RQ5 実世界の LAN 環境下で、セキュアなシグモイド、tanh、ソフトマックスの計算における通信コストおよび遅延コストはどの程度か？

主な発見

• S++ フレームワークは、LAN 環境下で、128x128 入力に対して平均 5.631 秒の低遅延実行を達成した。
• 通信オーバーヘッドは管理可能であり、ソフトマックスおよびその導関数プロトコルは 128x128 入力に対して約 41.3 MB のデータを送信した。
• テイラー級数に基づく指数関数プロトコルは、1 秒未満の性能を達成しており、128x128 入力に対して 0.092 秒、通信量はたった 0.079 MB にとどまった。
• フレームワークは、モデルの再アーキテクチャ化を必要とせず、一般的な活性化関数を用いた標準的なニューラルネットワークのセキュアな学習をサポートしている。
• 現在の実装では、大きな指数値に対してオーバーフローが発生するため、指数関数およびその導関数の実用的利用が制限されており、今後の研究における主要な限界である。