[論文レビュー] Privacy-Preserving Inference in Machine Learning Services Using Trusted Execution Environments

Krishna Giri Narra, Zhifeng Lin+3 more|arXiv (Cornell University)|Dec 7, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 27

ひとこと要約

Origami は、暗号的ブラインディングと信頼できないアクセラレータへのオフロードを組み合わせることで、Intel SGX エンclaveと大規模なディープニューラルネットワークの高パフォーマンスでプライバシーを守る推論を可能にする。SGX 僅用の実行に比べて 15.1 倍高速であり、強力な条件付き GAN 攻撃者に対しても再構築を防げる。

ABSTRACT

This work presents Origami, which provides privacy-preserving inference for large deep neural network (DNN) models through a combination of enclave execution, cryptographic blinding, interspersed with accelerator-based computation. Origami partitions the ML model into multiple partitions. The first partition receives the encrypted user input within an SGX enclave. The enclave decrypts the input and then applies cryptographic blinding to the input data and the model parameters. Cryptographic blinding is a technique that adds noise to obfuscate data. Origami sends the obfuscated data for computation to an untrusted GPU/CPU. The blinding and de-blinding factors are kept private by the SGX enclave, thereby preventing any adversary from denoising the data, when the computation is offloaded to a GPU/CPU. The computed output is returned to the enclave, which decodes the computation on noisy data using the unblinding factors privately stored within SGX. This process may be repeated for each DNN layer, as has been done in prior work Slalom. However, the overhead of blinding and unblinding the data is a limiting factor to scalability. Origami relies on the empirical observation that the feature maps after the first several layers can not be used, even by a powerful conditional GAN adversary to reconstruct input. Hence, Origami dynamically switches to executing the rest of the DNN layers directly on an accelerator without needing any further cryptographic blinding intervention to preserve privacy. We empirically demonstrate that using Origami, a conditional GAN adversary, even with an unlimited inference budget, cannot reconstruct the input. We implement and demonstrate the performance gains of Origami using the VGG-16 and VGG-19 models. Compared to running the entire VGG-19 model within SGX, Origami inference improves the performance of private inference from 11x while using Slalom to 15.1x.

研究の動機と目的

• Intel SGX のような信頼実行環境（TEE）内で大規模 DNN モデルを完全に実行する際のパフォーマンスボトルネックを解消すること。
• TEE の制限、たとえば限られたメモリ容量や GPU/TPU のサポート不足といった問題を克服すること。
• 機密性の高い入力データを漏洩させることなく、信頼できないアクセラレータへの計算のオフロードを可能にすること。
• 暗号的ブラインディングを用いることで、条件付き GAN などの強力な敵対者に対しても強固なプライバシー保証を実現すること。
• 後段の特徴マップの再構築に寄与しないという経験的事実に基づき、DNN の動的分割によってパフォーマンスとプライバシーのバランスを取ること。

提案手法

• DNN モデルを複数のセグメントに分割し、初期層を Intel SGX エンクラーブ内で実行する。
• エンクラーブ内での入力データおよびモデルパラメータに暗号的ブラインディングを適用し、機密情報を隠蔽する。
• ブラインド化された特徴マップの計算を、信頼できない GPU や CPU にオフロードし、エンクラーブが保護するブラインド化要因を通じてプライバシーを保持する。
• SGX に保管されたプライベートなアンブラインド要因を用いて、オフロードされた計算後に正しい出力を再構築する。
• 初期層以降でブラインド化から直接アクセラレータ実行に切り替える動的スイッチを実施し、後段の特徴マップが入力再構築に寄与しないという経験的事実に基づく。
• Intel SGX のセキュリティを活用してブラインド化／アンブラインド化の鍵を保護し、いかなる敵対者もオフロードされたデータを復元できないようにする。

実験結果

リサーチクエスチョン

• RQ1 VGG-16 や VGG-19 といった大規模 DNN モデルに対して、強固なプライバシー保証を維持したまま、高パフォーマンスなプライベート推論を達成できるか？
• RQ2 信頼できないアクセラレータに後段の層をオフロードすることで、TEE 内の計算負荷をどの程度低減できるか？ ただしプライバシーは損なわない。
• RQ3 暗号的ブラインディングが、強力な条件付き GAN 敵対者による入力データの再構築を効果的に防げるか？
• RQ4 Origami の推論遅延およびスループットは、SGX 僅用の推論および Slalom などの先行研究と比べてどの程度優れているか？
• RQ5 後段の層でブラインド化をスキップしても安全であるか？ これは、それらの特徴マップが経験的に入力再構築に寄与しないという事実に基づく。

主な発見

• Origami は、VGG-19 モデルを SGX 僅用で実行する場合に比べて、15.1 倍の推論パフォーマンス向上を達成し、Slalom が報告した 11 倍の改善を大きく上回る。
• 無制限の推論予算を持つ条件付き GAN 敵対者ですら、元の入力を再構築できず、強力なプライバシー保証を示している。
• パフォーマンス向上の主な要因は、初期ブラインド化フェーズの後、計算の大部分を信頼できない GPU にオフロードすることで、エンクラーブの負荷を低減したことにある。
• 後段の特徴マップが再構築可能な情報を漏洩しないという経験的事実に基づき、初期層以降でブラインド化から直接実行に切り替える戦略は正当化される。
• Origami は、プライベート推論において GPU に近いパフォーマンスを達成しながらも、セキュリティを維持しており、SGX と GPU 間のパフォーマンスギャップを 105 倍から 10 倍未満にまで縮小している。
• このフレームワークは汎用的であり、Sanctum などの他の TEE アーキテクチャにも適応可能で、Intel SGX にとどまらない応用可能性を有する。