[論文レビュー] CryptoNN: Training Neural Networks over Encrypted Data

Runhua Xu, James Joshi+1 more|arXiv (Cornell University)|Apr 15, 2019

Cryptography and Data Security参考文献 40被引用数 9

ひとこと要約

CryptoNNは、関数暗号を用いて暗号化されたデータ上で深層ニューラルネットワークを直接学習するための新規フレームワークを提案する。従来の同型暗号化やセキュアマルチパーティ計算の手法に比べ、制限を克服する。MNIST上で平文モデルと同等の学習精度を達成しながら、算術演算に特化した独自の関数暗号化方式により、データの機微性を保持する。

ABSTRACT

Emerging neural networks based machine learning techniques such as deep learning and its variants have shown tremendous potential in many application domains. However, they raise serious privacy concerns due to the risk of leakage of highly privacy-sensitive data when data collected from users is used to train neural network models to support predictive tasks. To tackle such serious privacy concerns, several privacy-preserving approaches have been proposed in the literature that use either secure multi-party computation (SMC) or homomorphic encryption (HE) as the underlying mechanisms. However, neither of these cryptographic approaches provides an efficient solution towards constructing a privacy-preserving machine learning model, as well as supporting both the training and inference phases. To tackle the above issue, we propose a CryptoNN framework that supports training a neural network model over encrypted data by using the emerging functional encryption scheme instead of SMC or HE. We also construct a functional encryption scheme for basic arithmetic computation to support the requirement of the proposed CryptoNN framework. We present performance evaluation and security analysis of the underlying crypto scheme and show through our experiments that CryptoNN achieves accuracy that is similar to those of the baseline neural network models on the MNIST dataset.

研究の動機と目的

• クラウド環境などでの機微なユーザーデータを用いたディープラーニングモデルの学習における重要なプライバシーリスクに対処すること。
• 既存のプライバシー保護手法（セキュアマルチパーティ計算や同型暗号化など）の制限を克服すること。これらの手法は、暗号化データ上の学習をサポートしない、あるいは非効率である。
• データやモデルパラメータの平文へのアクセスを一切必要とせずに、暗号化データ上で学習と推論を実行できること。
• ニューラルネットワーク学習に必要な算術演算をサポートするように最適化された関数暗号化方式の設計と実装。
• MNISTのような実世界のデータセットを用いて、提案されたCryptoNNフレームワークのセキュリティ、精度、パフォーマンスを評価すること。

提案手法

• フレームワークは、平文に復号せずに暗号化されたデータ上で計算を可能にする関数暗号（FE）をコア暗号基盤として使用する。
• バックプロパゲーションに不可欠な基本的な算術演算（例：加算、乗算）をサポートする、独自に設計された関数暗号化方式を構築する。
• 学習プロセスは、暗号化されたデータ上で確率的勾配降下法（SGD）を用いて実行され、勾配は暗号化された状態で計算・更新される。
• 最終的なモデルは、データ所有者などの承認済み当事者だけが復号可能であり、データおよびモデルパラメータの機微性が保たれる。
• 実用性を高めるために、多入力関数暗号やIntel SGXのようなハードウェア支援技術に基づく既存のFE構成を活用する。
• 性能評価は、2エポックとバッチサイズ64を用いてMNISTデータセットで実施され、ベースラインモデルとの精度および学習時間の比較がなされる。

実験結果

リサーチクエスチョン

• RQ1 関数暗号を用いて暗号化されたデータ上で直接ニューラルネットワークを学習させることで、モデルの精度を維持できるか？
• RQ2 関数暗号を用いた暗号化データ上の学習は、平文データ上の学習と比べてどのようにパフォーマンスに影響を与えるか？
• RQ3 提案された関数暗号化方式がニューラルネットワーク学習の文脈で提供するセキュリティ保証は何か？
• RQ4 従来の同型暗号化ベースの手法とは異なり、提案されたフレームワークは暗号化データ上で学習と推論の両方をサポートできるか？
• RQ5 関数暗号を用いたディープラーニング学習において、実用的なスケーラビリティと効率性のトレードオフは何か？

主な発見

• CryptoNNは、MNISTデータセットで、平文データ上で学習されたベースラインニューラルネットワークモデルと同等のテスト精度を達成した。
• 暗号化演算の計算オーバーヘッドのため、CryptoNNの学習時間は平文学習よりも顕著に長くなったが、モデルは依然として学習可能であった。
• 関数暗号化方式により、暗号化されたデータ上で安全な計算が可能となり、モデル学習に必要な完全なバックプロパゲーション処理が実現された。
• フレームワークは強力なプライバシー保証を提供し、クラウドプロバイダーや信頼できない第三者が平文データやモデルパラメータにアクセスできないことを保証した。
• セキュリティ解析により、既知の攻撃に対して耐性があり、学習ライフサイクル全体を通じてデータ機微性が保持されることを確認した。
• 結果から、関数暗号化は、同型暗号化やセキュアマルチパーティ計算に代わるプライバシー保護型ディープラーニングの有効な代替手段であることが示された。