[論文レビュー] Chiron: Privacy-preserving Machine Learning as a Service

Tyler Hunt, Congzheng Song+3 more|arXiv (Cornell University)|Mar 15, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用数 177

ひとこと要約

Chiron は、SGX エンクレイブと Ryoan サンドボックスを用いて提供者のコードとデータを限定することで、外部委託サービス上で訓練データを開示せずに機械学習モデルを訓練できるようにする。モデルの機密性とデータプライバシーを保ちながら、パラメータサーバを介した分散学習をサポートします。

ABSTRACT

Major cloud operators offer machine learning (ML) as a service, enabling customers who have the data but not ML expertise or infrastructure to train predictive models on this data. Existing ML-as-a-service platforms require users to reveal all training data to the service operator. We design, implement, and evaluate Chiron, a system for privacy-preserving machine learning as a service. First, Chiron conceals the training data from the service operator. Second, in keeping with how many existing ML-as-a-service platforms work, Chiron reveals neither the training algorithm nor the model structure to the user, providing only black-box access to the trained model. Chiron is implemented using SGX enclaves, but SGX alone does not achieve the dual goals of data privacy and model confidentiality. Chiron runs the standard ML training toolchain (including the popular Theano framework and C compiler) in an enclave, but the untrusted model-creation code from the service operator is further confined in a Ryoan sandbox to prevent it from leaking the training data outside the enclave. To support distributed training, Chiron executes multiple concurrent enclaves that exchange model parameters via a parameter server. We evaluate Chiron on popular deep learning models, focusing on benchmark image classification tasks such as CIFAR and ImageNet, and show that its training performance and accuracy of the resulting models are practical for common uses of ML-as-a-service.

研究の動機と目的

• データ所有者が、訓練データをサービス提供者に開示することなく、外部委託インフラストラクチャ上で機械学習モデルを訓練できるようにする。
• モデルの機密性を保持し、モデルの詳細を非公開にすることでユーザーへの露出を抑える。
• データプライバシーを保証しつつ、パラメータサーバによる分散・同時訓練をサポートする。
• 機械学習ツールチェーンと訓練プロセスの検証可能でハードウェア支援の実行環境を提供する。

提案手法

• 保護された環境内で一般的な ML ツールチェーン（Theano）を動作させるために SGX エンクレイブを使用する。
• データ流出を防ぐため、サービス提供者の信頼できないコードを Ryoan サンドボックスで制約する。
• モデル設計（提供者にとって独自の設計）をモデル訓練（汎用プロセス）から分離する。
• 固定レートのデータ非依存な交換を用いて、複数のエンクレイブ間でパラメータサーバを介して分散訓練を調整する。
• 出力された訓練済みモデルは、ユーザーが管理するクエリエンクレイブとキーを通じてのみアクセス可能な暗号化された状態で提供される。

実験結果

リサーチクエスチョン

• RQ1 ML モデルが外部委託インフラストラクチャ上で訓練される場合、訓練データのプライバシーはどのように保たれるか。
• RQ2 信頼できない提供者コードをデータ喪失を防ぐために制限しつつ、柔軟なモデル設計と訓練を可能にできるか。
• RQ3 汎用ベンチマークにおける訓練性能とモデル精度に対するハードウェアベースのエンクレイブとサンドボックスの影響は何か。
• RQ4 複数のエンクレイブ間でデータを漏らすことなく、分散 ML 訓練を安全に調整できるか。
• RQ5 CIFAR や ImageNet のような実世界のベンチマークにおける ML-as-a-service のセキュリティと実用性にはどのような影響があるか。

主な発見

• Chiron はデータ機密性を保ちつつ、ユーザーがブラックボックスモデルにアクセスできる外部委託インフラ上での訓練を可能にする。
• SGX エンクレイブと Ryoan サンドボックスの組み合わせにより、信頼できない提供者コードをエンクレイブ内部で実行する一方で通常の ML ツールチェーンを動作させる。
• 分散訓練はエンクレイブ間で安全な固定レートの交換を伴うパラメータサーバを介してサポートされる。
• CIFAR や ImageNet といった標準的な深層学習ベンチマークで収束時間、拡張性、精度に焦点を当てて評価される。
• 評価済みの設定内で、一般的な ML-as-a-service のユースケースに対してモデル訓練と推論が現実的である。