[論文レビュー] DarKnight: A Data Privacy Scheme for Training and Inference of Deep Neural Networks

Hanieh Hashemi, Yongqin Wang+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 14

ひとこと要約

DarKnightは、Intel SGX内での行列マスキングによる入力データのマスキングを用いてプライバシーを保証するハイブリッドTEE-GPUフレームワークを提案する。これにより、入力データのプライバシーを確保しながら、計算負荷の高い線形演算を信頼できないGPUにオフロードできる。情報理論的プライバシー保証を提供し、1メガピクセルあたり最大1ビットの情報漏洩れを保証し、純粋なTEE実行に比べ10倍以上の高速化を達成しながらモデルの精度を損なわない。

ABSTRACT

Protecting the privacy of input data is of growing importance as machine learning methods reach new application domains. In this paper, we provide a unified training and inference framework for large DNNs while protecting input privacy and computation integrity. Our approach called DarKnight uses a novel data blinding strategy using matrix masking to create input obfuscation within a trusted execution environment (TEE). Our rigorous mathematical proof demonstrates that our blinding process provides information-theoretic privacy guarantee by bounding information leakage. The obfuscated data can then be offloaded to any GPU for accelerating linear operations on blinded data. The results from linear operations on blinded data are decoded before performing non-linear operations within the TEE. This cooperative execution allows DarKnight to exploit the computational power of GPUs to perform linear operations while exploiting TEEs to protect input privacy. We implement DarKnight on an Intel SGX TEE augmented with a GPU to evaluate its performance.

研究の動機と目的

• 医療、金融、自律システム分野におけるディープラーニングにおけるデータプライバシーの増大するニーズに対応すること。
• 限られたCPU計算能力とメモリ容量のため、すべてのDNNを信頼実行環境（TEE）内で実行する場合の性能ボトルネックを克服すること。
• 浮動小数点演算を用いても入力プライバシーを保ちながら、安全で効率的かつ正確なディープニューラルネットワークの学習を可能にすること。
• プライバシー保護型ディープラーニングフレームワークにおける情報漏洩れの厳密な数学的上限を提供すること。
• TEEによるプライバシー保護とGPUによる性能向上を組み合わせたハイブリッド実行モデルを設計すること。信頼できるサーバーの必要なし、モデルの量子化も不要である。

提案手法

• Intel SGXエナclave内での加法的ノイズによる行列マスキングを用いて、入力データをマスキングし、情報理論的保証により入力プライバシーを確保する。
• ブレインド入力を用いて、信頼できないGPUに線形演算（畳み込み、行列乗算など）をオフロードし、計算中もプライバシーを保持する。
• GPU計算からの復号結果の後処理として、非線形演算（ReLU、マックスプーリング）をSGXエナclave内でのみ実行する。
• モデルパラメータとマスキング要因をエナclave内で安全に管理する協働実行モデルを採用し、事前計算されたW·r項を復号に使用する。
• ノイズ分散とマスキングパラメータに基づき、情報漏洩れの上限を数学的に証明し、無制限の敵対的計算に対してもプライバシーを保証する。
• 量子化を必要とせず、フル精度浮動小数点学習（bfloat16を含む）をサポートし、標準的なDNNフレームワークとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドTEE-GPUアーキテクチャは、DNN学習および推論において、強力なプライバシー保証と高い性能を両立できるか？
• RQ2 加法的マスキングを用いたプライバシー保護型ディープラーニングシステムにおいて、情報漏洩れを数学的にどのように上限付けることができるか？
• RQ3 量子化モデルに依存せずに、プライバシー保護型DNNフレームワークで浮動小数点演算を安全にサポートできるか？
• RQ4 TEEベースのシステムにおいて、入力プライバシーを損なわずにGPUアクセラレーションをどの程度活用できるか？
• RQ5 最小限の性能オーバーヘッドで学習と推論を両立させつつ、データ機密性を保証できるシステムを設計することは可能か？

主な発見

• DarKnightは、無制限の敵対的計算に対しても、1メガピクセルあたり最大1ビットの情報漏洩れという証明可能な上限を達成する。
• ImageNet上のVGG16における純粋なSGXベースの学習に比べ、120倍の高速化を達成し、純粋なTEE実行に比べ10倍以上の高速化を実現する。
• 量子化を必要とせず、フル精度浮動小数点学習（bfloat16を含む）をサポートするため、モデルの精度と標準的なディープラーニングパイプラインとの互換性を維持する。
• 線形演算をGPUにオフロードし、非線形演算をエナclave内でのみ実行することで、TEE上の性能ボトルネックを軽減しながらも、強力なプライバシー保証を維持する。
• データ並列性を活用した分散学習にもスケーラブルであり、非統合クラウドアーキテクチャにおいて、複数のSGXエナclaveが別々のGPU用に独立して入力をマスキングできる。
• 動的重み更新のため、事前計算および保存が必要なW·r項の管理を回避する点で、Slalomなど先行研究を上回る。これは学習中に不実行である。