[論文レビュー] GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment

Aref Asvadishirehjini, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|Oct 17, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用数 7

ひとこと要約

GOAT は、信頼できる実行環境（TEE）内での非同期確率的検証と、適応的ハイパーパramータチューニングを組み合わせることで、セキュアで外部に委託されたディープラーニングの学習を実現する画期的なフレームワークである。重要な計算ステップをランダムに検証し、勾配更新をきびしいクリッピングで制約することで、純粋な TEE 解決策に比べて 2X–20X の性能向上を達成しながら、最先端のバックドア攻撃を 99.9% の確率で検出する。

ABSTRACT

Machine learning models based on Deep Neural Networks (DNNs) are increasingly deployed in a wide range of applications ranging from self-driving cars to COVID-19 treatment discovery. To support the computational power necessary to learn a DNN, cloud environments with dedicated hardware support have emerged as critical infrastructure. However, there are many integrity challenges associated with outsourcing computation. Various approaches have been developed to address these challenges, building on trusted execution environments (TEE). Yet, no existing approach scales up to support realistic integrity-preserving DNN model training for heavy workloads (deep architectures and millions of training examples) without sustaining a significant performance hit. To mitigate the time gap between pure TEE (full integrity) and pure GPU (no integrity), we combine random verification of selected computation steps with systematic adjustments of DNN hyper-parameters (e.g., a narrow gradient clipping range), hence limiting the attacker's ability to shift the model parameters significantly provided that the step is not selected for verification during its training phase. Experimental results show the new approach achieves 2X to 20X performance improvement over pure TEE based solution while guaranteeing a very high probability of integrity (e.g., 0.999) with respect to state-of-the-art DNN backdoor attacks.

研究の動機と目的

• 大規模な DNN における完全な TEE を用いた学習のスケーラビリティとパフォーマンスのボトル neck を解決すること。
• クラウドインfra が信頼できない状況下でも、GPU を用いた学習におけるモデルの整合性を保証すること。
• 信頼できる実行のオーバーヘッドを減らすが、強力な整合性保証を損なわないようにすること。
• 最小限のハードウェア信頼で実用的で、監査可能かつ再現可能な DNN 学習をクラウド環境で可能にすること。

提案手法

• TEE を使用してミニバッチ選択、乱数生成、パラメータ初期化を管理する。
• すべてのフォワードおよびバックワードパスを GPU にオフロードするが、TEE は選択された計算ステップのみを確率的に検証する。
• 確率的に選択された確率的勾配降下（SGD）ステップの検証を実施し、悪意ある逸脱を高い確率で検出する。
• 特に狭い勾配クリッピング範囲を用いた体系的なハイパーパramータチューニングを実施し、1ステップあたりの最大パラメータシフトを制限する。
• Freivalds のスキームを用いた確率的整合性検証により、TEE 内での行列乗算および勾配更新を検証する。
• GPU が大部分の学習ワークロードを処理するハイブリッドアーキテクチャを設計し、TEE を軽量な整合性モニタとして機能させる。

実験結果

リサーチクエスチョン

• RQ1 大規模な DNN 学習において、選択された学習ステップのランダム検証が、TEE のオーバーヘッドを顕著に低減しつつも高い整合性保証を維持できるか。
• RQ2 勾配クリッピングを厳しくすることで、GPU に学習を委託する環境下での単一ステップ攻撃の実行可能性と検出可能性にどのような影響を与えるか。
• RQ3 整合性保証を損なわず、純粋な TEE を用いた学習に比べてどの程度パフォーマンスを向上させられるか。
• RQ4 学習率やクリッピング範囲などのハイパーパramータ設定は、攻撃者がパラメータを不正に操作しても検出されないようにするのにどの程度効果を発揮するか。
• RQ5 現実的な学習条件下で、提案手法は最先端のバックドア攻撃に対してどの程度有効か。

主な発見

• GOAT は、純粋な TEE を用いた解決策に比べて、ディープニューラルネットワークの学習で 2X から 20X のパフォーマンス向上を達成した。
• フレームワークは、高度な攻撃条件下でも、バックドア攻撃を最大 0.999 の確率で検出できた。
• きびしい勾配クリッピング（例：クリッピング範囲 0.1）により、1ステップあたりの最大パラメータシフトが制限され、攻撃者が複数回にわたる連携変更を必要とするようになった。
• MNIST では、収束が速いため初期段階の攻撃がより効果的であるが、確率的検証のおかげでモデルは依然として検出可能である。
• 汚染されたサンプルの割合が 0.5 を超えると、特に GTSRB のような複雑なデータセットでは攻撃成功率が著しく低下する。
• ランダム検証とハイパーパramータの強化を組み合わせることで、単一ステップ攻撃が効果的に抑止され、攻撃者の機会の窓が短縮された。