[論文レビュー] NN-EMD: Efficiently Training Neural Networks using Encrypted Multi-Sourced Datasets

Runhua Xu, James Joshi+1 more|arXiv (Cornell University)|Dec 18, 2020

Privacy-Preserving Technologies in Data参考文献 59被引用数 10

ひとこと要約

この論文では、ハイブリッド関数暗号を用いて暗号化された複数のデータソースから成るデータセット上で、深層ニューラルネットワーク（DNN）を効率的に学習するための新規フレームワーク、NN-EMDを提案する。このフレームワークは、信頼できない複数のデータソース間で、プライバシーを守りながら安全に学習を可能にするとともに、従来の手法と比較して学習時間を97％短縮するが、モデルの深さが増しても性能に劣化がない。

ABSTRACT

Training a machine learning model over an encrypted dataset is an existing promising approach to address the privacy-preserving machine learning task, however, it is extremely challenging to efficiently train a deep neural network (DNN) model over encrypted data for two reasons: first, it requires large-scale computation over huge datasets; second, the existing solutions for computation over encrypted data, such as homomorphic encryption, is inefficient. Further, for an enhanced performance of a DNN model, we also need to use huge training datasets composed of data from multiple data sources that may not have pre-established trust relationships among each other. We propose a novel framework, NN-EMD, to train DNN over multiple encrypted datasets collected from multiple sources. Toward this, we propose a set of secure computation protocols using hybrid functional encryption schemes. We evaluate our framework for performance with regards to the training time and model accuracy on the MNIST datasets. Compared to other existing frameworks, our proposed NN-EMD framework can significantly reduce the training time, while providing comparable model accuracy and privacy guarantees as well as supporting multiple data sources. Furthermore, the depth and complexity of neural networks do not affect the training time despite introducing a privacy-preserving NN-EMD setting.

研究の動機と目的

• データ機密性を損なうことなく、機密性の高い複数のデータソースから成るデータセット上でDNNを学習する課題に対処すること。
• 大規模なDNN学習において、完全準同型暗号や一般化された安全なマルチパーティ計算の非効率性を克服すること。
• 事前に信頼関係が確立されていない複数のデータソース間で、安全に学習を実行できること。
• 水平分割および垂直分割の両方のデータ分割方式をサポートしながら、プライバシーを保持すること。
• 非プライバシー保護型のベースラインと同等の高い学習効率とモデル精度を達成すること。

提案手法

• DNNにおける内積および行列積演算に特化した、ハイブリッド関数暗号スキームに基づく安全な計算フレームワークを設計する。
• 関数暗号を用いて、データを復号せずに暗号化された状態で計算を可能にし、クラウドプロバイダーがデータを機密に保てるようにする。
• DNN学習を、前方伝搬および逆伝搬の主要な演算プロトコルに分解し、線形代数の基本演算に関数暗号を適用する。
• 複数の信頼できないデータソースにまたがる水平および垂直データ分割をサポートするプロトコルを統合する。
• 特に大規模データセット向けに、通信および計算のオーバーヘッドを最小限に抑えるため、プロトコルスタックを最適化する。
• 完全準同型暗号の性能ボトルネックを避けるために、特定の演算に特化した関数暗号の効率性を活用する。

実験結果

リサーチクエスチョン

• RQ1 水平および垂直のデータ分割を両方サポートする、信頼できない複数のデータソースを対象としたプライバシー保護型DNN学習フレームワークを構築可能か？
• RQ2 暗号化下での行列積や内積といったDNNのコア演算に、関数暗号をどのように効率的に適用できるか？
• RQ3 従来の完全準同型暗号やSMCベースの手法と比較して、暗号化DNN学習における学習時間をどの程度短縮できるか？
• RQ4 プライバシー保護型環境下で、モデルの深さや複雑さが学習性能に顕著に影響を与えるか？
• RQ5 強固なプライバシー保証を確保しつつ、非暗号化学習と同等のモデル精度を維持できるか？

主な発見

• NN-EMDは、従来のプライバシー保護型フレームワークと比較して、学習時間を97％短縮し、大幅な効率向上を実現した。
• MNISTデータセットにおいて、非暗号化学習と同等のモデル精度を維持しており、実用性の高さを示した。
• 従来の手法とは異なり、ニューラルネットワークの深さや複雑さが増しても、学習時間は安定的かつ効率的である。
• 複数の信頼できないデータソースからの水平および垂直データ分割をサポートしており、より広範な展開が可能である。
• ハイブリッド関数暗号の活用により、クラウドプロバイダーがデータを復号せずとも、暗号化されたデータ上で安全に計算が可能である。
• フレームワークは強固なプライバシー保証を提供し、第三者のクラウドインfra構造に対して、学習データおよび推論データの両方を保護している。