[論文レビュー] Crypto-Nets: Neural Networks over Encrypted Data

Pengtao Xie, Misha Bilenko+4 more|arXiv (Cornell University)|Dec 18, 2014

Privacy-Preserving Technologies in Data参考文献 16被引用数 133

ひとこと要約

この論文は、同型暗号を用いて暗号化されたデータ上でニューラルネットワークの推論を可能にするシステム、Crypto-Netsを紹介している。これにより、クラウド上で予測を行う際、入力や出力の生データを暴露することなく安全に処理できる。主な貢献は、多項式近似と改変された学習手法を用いて非線形活性化関数を扱える実用的なフレームワークを提供することで、医療や金融分野のような機微な応用分野においても、プライバシーを守った機械学習が可能になることである。

ABSTRACT

The problem we address is the following: how can a user employ a predictive model that is held by a third party, without compromising private information. For example, a hospital may wish to use a cloud service to predict the readmission risk of a patient. However, due to regulations, the patient's medical files cannot be revealed. The goal is to make an inference using the model, without jeopardizing the accuracy of the prediction or the privacy of the data. To achieve high accuracy, we use neural networks, which have been shown to outperform other learning models for many tasks. To achieve the privacy requirements, we use homomorphic encryption in the following protocol: the data owner encrypts the data and sends the ciphertexts to the third party to obtain a prediction from a trained model. The model operates on these ciphertexts and sends back the encrypted prediction. In this protocol, not only the data remains private, even the values predicted are available only to the data owner. Using homomorphic encryption and modifications to the activation functions and training algorithms of neural networks, we show that it is protocol is possible and may be feasible. This method paves the way to build a secure cloud-based neural network prediction services without invading users' privacy.

研究の動機と目的

• クラウドプロバイダーにプライベートな情報を露呈させることなく、暗号化されたデータ上で機械学習の推論を可能にすること。
• クラウドベースの機械学習におけるプライバシーと精度のトレードオフを解消し、ニューラルネットワークが暗号化された入力上で動作できるようにすること。
• 同型暗号を用いて、プライバシーを守った形でニューラルネットワークを展開するための実用的フレームワークを開発すること。
• 現実世界の制約下で、暗号化されたデータ上でニューラルネットワークの学習およびファインチューニングが実際に可能かどうかを検討すること。

提案手法

• 暗号化されたデータ上で計算を実行するため、完全に同型暗号を用いる。
• 非線形活性化関数（例：ReLU、シグモイド）の多項式近似を採用し、同型暗号と互換性を持たせる。
• 暗号化された重みおよび入力上で損失関数の勾配を計算できるようにバックプロパゲーションアルゴリズムを変更する。
• 暗号化されたデータに対する加算および乗算演算をサポートする、やや同型暗号方式を適用する。
• 計算の複雑さを管理するため、完全なネットワークを低次の多項式で近似する学習手順を実装する。
• 暗号化されたデータ上で、全ニューラルネットワーク計算を暗号空間内で評価することで、推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 予測精度とデータのプライバシーを保ちながら、暗号化されたデータ上でニューラルネットワークを評価することは可能か？
• RQ2 モデル学習のために、暗号化されたデータ上でバックプロパゲーションと重み更新を実行することは可能か？
• RQ3 非線形活性化関数は、同型暗号の制約に適合させるためにどのように調整できるか？
• RQ4 現在の同型暗号方式を用いた場合、深層ニューラルネットワークを暗号化されたデータ上で学習する際の実用的制限は何か？
• RQ5 どのような現実世界のシナリオで、Crypto-Netsによる安全な推論が実際に展開可能か？

主な発見

• Crypto-Netsは、同型暗号を用いて暗号化されたデータ上で安全な推論を可能にし、クラウドや第三者が入力データや予測結果をアクセスできないことを保証する。
• 活性化関数に多項式近似を用いることで、非線形ニューラルネットワークを同型暗号の制約内で暗号化されたデータ上で評価できるようになる。
• Crypto-Netsによる推論は実現可能かつ正確であり、医療診断や金融リスク評価のようなプライバシーに配慮が必要な応用分野に適している。
• 現在の同型暗号技術では、ネットワークの深さに応じて多項式の次数が指数関数的に増加するため、暗号化されたデータ上で深層ニューラルネットワークを学習することは計算的に非現実的である。
• 事前学習済みモデルを暗号化されたデータ上でファインチューニングすることは理論的には可能であり、小規模なデータセットや浅いネットワークでは実用的である可能性がある。
• 異なる鍵で暗号化されたデータを集約するには、安全なマルチパーティ計算が必要となる可能性があり、これはプライバシー制約下での共同学習への道筋を示唆している。