[論文レビュー] Efficient Deep Learning on Multi-Source Private Data

Nick Hynes, Raymond Cheng+1 more|arXiv (Cornell University)|Jul 17, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用数 78

ひとこと要約

Myelinは、信頼されたハードウェアのエンクレーブを使用して、複数のソースからの私的データに対する完全にプライベートで差分プライバシーを保護した訓練を実現するディープラーニングフレームワークで、プライベートでないCPU訓練と競合する性能を達成します。

ABSTRACT

Machine learning models benefit from large and diverse datasets. Using such datasets, however, often requires trusting a centralized data aggregator. For sensitive applications like healthcare and finance this is undesirable as it could compromise patient privacy or divulge trade secrets. Recent advances in secure and privacy-preserving computation, including trusted hardware enclaves and differential privacy, offer a way for mutually distrusting parties to efficiently train a machine learning model without revealing the training data. In this work, we introduce Myelin, a deep learning framework which combines these privacy-preservation primitives, and use it to establish a baseline level of performance for fully private machine learning.

研究の動機と目的

• データが貴重である一方で機微な複数ソースのデータに対して、プライバシー保護されたMLの必要性を動機づける。
• 信頼済みハードウェアのエンクレーブと差分プライバシーおよびデータ oblivious計算を組み合わせたシステム（Myelin）を導入する。
• 実用的なCNNモデルでの完全なプライベート訓練の基準性能を示す。
• TVM生成のエンクレーブ対応ライブラリが、汎用ハードウェア上での効率的なプライベート訓練を可能にすることを示す。）

提案手法

• 訓練データとモデルパラメータを分離するために信頼できるハードウェアエンクレーブを利用する。
• SGDに対して per-example勾配をクリッピングし、モーメントアカウンタ付きのガウス機構を用いてガウスノイズを追加することで差分プライバシーを適用する。
• データ非露出アルゴリズムと固定長データチャンク化を実装し、サイドチャネルやタイミングリークを低減する。
• TVMを活用してエンクレーブ効率を高める最小かつ結合済みの演算子ライブラリを生成し、TCBを縮小する。
• 計算をスケジュールして並列性を最大化し、クリップ、ノイズ、和のプライバシー関連ステップを統合して待機時間を隠す。
• 汎用ハードウェアを活用したマルチスレッドでの分散エンクレーブベース訓練をサポートする。

実験結果

リサーチクエスチョン

• RQ1 信頼されたハードウェアを用いた完全にプライベートな訓練は、マルチプロバイダの私的データ上で深層学習モデルに実用的な性能を達成できるのか？
• RQ2 エンクレーブ内で差分プライバシーとデータ oblivious手法を適用した場合の精度と速度のトレードオフはどうなるか？
• RQ3 暗号技術的アプローチや複数エンクレーブの方法と比較した場合のスループットとモデル精度はどうか？
• RQ4 実務的にDPとデータ oblivious性をサポートするTVM生成演算子や per-example勾配処理など、どのようなアーキテクチャ上の選択が最適か？

主な発見

Model	Framework/Method	Train Min/Epoch	Test (Img/s)	Test Acc or Speed
VGG9	Gazelle (HE+GC)	–	0.08	93.1
Myelin	Chiron (4 enclaves)	6.74	–	88.1
Myelin (1 enclave)	–	6.68	521	89.5
ResNet-32	Myelin	11.4	476	92.4
MobileNet	Slalom (1 enclave+GPU)	–	35.7	71.0
Myelin (1 enclave)	–	35.1	–	71.0
VGG9	non-private CPU (baseline)	6.12	–	89.5
Myelin	(DP training)	6.68	–	84.4
ResNet-32	non-private CPU (baseline)	12.3	–	92.4
Myelin	(DP training)	12.9	–	90.8

• 完全にプライベートなMyelin訓練はVGG9とResNet-32で、DP・データ oblivious性・最適化されたエンクレーブUXのおかげで非プライベートCPU訓練と速度・精度の面で競合する。
• 単一のMyelinエンクレーブが、4つのChironエンクレーブの分散構成を特定の設定で上回る場合があり、エンクレーブベースの効率性向上を示す。
• CIFAR-10では、Myelinによるプライベート訓練の検証精度が非プライベートの基準に近づく（例：VGG9 84.4% private vs 89.5% non-private; ResNet-32 90.8% private vs 92.4% non-private）。
• Myelin内でプライベート訓練を受けたMobileNetの推論は、Slalomなどのプライバシー保護推論ベースラインと同等の速度で、精度も同等である。
• 暗号的アプローチ（Gazelle など）やGPU強化方式（Slalom）と比較して、Myelinは単一エンクレーブ内で有利な速度/精度のトレードオフを示す。
• 結果は、汎用ハードウェア上のハードウェアエンクレーブを用いた完全にプライベートなML性能のベースラインを確立する。