[論文レビュー] Partially Encrypted Machine Learning using Functional Encryption

Théo Ryffel, Edouard Dufour-Sans+3 more|arXiv (Cornell University)|May 24, 2019

Cryptography and Data Security参考文献 32被引用数 14

ひとこと要約

本稿では、関数暗号（FE）を用いて部分的に暗号化されたニューラルネットワーク推論を可能にする、実用的なプライバシー保護型機械学習フレームワークを提案する。二次関数向けの効率的なFEスキームを導入し、復号された中間出力からの漏洩を最小限に抑えるための敵対的訓練を統合した。感覚的特徴を有する修正されたMNISTデータセット上で97.7%以上の精度を達成し、機密性の高い特徴に対して強固なプライバシー保証を実現した。

ABSTRACT

Machine learning on encrypted data has received a lot of attention thanks to recent breakthroughs in homomorphic encryption and secure multi-party computation. It allows outsourcing computation to untrusted servers without sacrificing privacy of sensitive data. We propose a practical framework to perform partially encrypted and privacy-preserving predictions which combines adversarial training and functional encryption. We first present a new functional encryption scheme to efficiently compute quadratic functions so that the data owner controls what can be computed but is not involved in the calculation: it provides a decryption key which allows one to learn a specific function evaluation of some encrypted data. We then show how to use it in machine learning to partially encrypt neural networks with quadratic activation functions at evaluation time, and we provide a thorough analysis of the information leaks based on indistinguishability of data items of the same label. Last, since most encryption schemes cannot deal with the last thresholding operation used for classification, we propose a training method to prevent selected sensitive features from leaking, which adversarially optimizes the network against an adversary trying to identify these features. This is interesting for several existing works using partially encrypted machine learning as it comes with little reduction on the model's accuracy and significantly improves data privacy.

研究の動機と目的

• 最終予測結果の完全な平文露出を回避するため、中間出力のみを復号するプライバシー保護型機械学習を可能にすること。
• 特に最終分類層からの情報漏洩に起因する、部分的に暗号化されたモデルにおける課題に対処すること。
• 二次関数の計算に最適化された効率的な関数暗号スキームを設計し、暗号化データ上で安全に計算を実行すること。
• 復号された中間活性化出力に対する特徴推定攻撃に対してモデルを強化するための汎用的敵対的訓練手法を開発すること。
• 最小限の精度損失で、実世界の画像分類タスクにおいてこのアプローチの実用性を示すこと。

提案手法

• 二次形式の計算に最適化された新規関数暗号スキームを提案し、計算の複雑さと効率性において先行研究を上回る。
• FEスキームを用いて多項式ニューラルネットワークの最初の層を暗号化し、暗号化された入力上で安全に評価可能にする。
• 復号された中間層出力からの情報漏洩を最小限に抑えるための新規敵対的訓練手順を採用する。
• 同じクラスに属するデータ項目間で感覚的特徴を識別不能にするように最適化するための訓練目的関数を導入する。
• 二つの秘密鍵を用いた二重暗号化メカニズムを採用し、入力そのものではなく、指定された関数評価（例：二次形式）のみが露呈されることを保証する。
• 二種類のフォントを用いたMNISTに類似したデータセットを用いた画像分類にこのフレームワークを適用し、3秒未満で推論を完了した。

実験結果

リサーチクエスチョン

• RQ1 関数暗号を二次関数の計算に効率的に適用し、安全なニューラルネットワーク推論を可能にすることができるか？
• RQ2 部分的に暗号化されたモデルにおいて、復号された中間層出力からの情報漏洩をどのように最小化できるか？
• RQ3 敵対的訓練を用いることで、復号出力に対する特徴推定攻撃からモデルを強化できるか？
• RQ4 部分的に暗号化された機械学習システムにおいて、モデルの精度とプライバシーのトレードオフはどのように変化するか？
• RQ5 相互作用を要しない状態で、FEを用いて暗号化データ上で安全かつ低遅延の推論を実現するのは可能か？

主な発見

• 提案された二次関数向け関数暗号スキームは、計算の複雑さと効率性において、先行研究を上回っている。
• 本フレームワークは、二種類のフォントを用いたMNIST分類タスクにおいて97.7%以上の精度を達成し、モデルの最終予測が直接露呈されないことを保証している。
• 敵対的訓練により、攻撃者が復号された中間活性化出力から感覚的特徴を推定する能力が顕著に低下した。
• 本システムは、データ所有者がオンラインでなくても、暗号化された入力に対して安全かつ低遅延（3秒未満）の推論を実現した。
• 本手法により、同じラベルのデータ項目を復号出力から区別できないようにすることができ、プライバシーの強化が図られた。
• 本アプローチは、既存の暗号化機械学習パイプラインと互換性があり、さまざまな部分暗号化ニューラルネットワークアーキテクチャに適用可能である。