[論文レビュー] AsymML: An Asymmetric Decomposition Framework for Privacy-Preserving DNN Training and Inference

Yue Niu, Ramy E. Ali+1 more|arXiv (Cornell University)|Oct 4, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 4

ひとこと要約

AsymMLは、深層ニューラルネットワークモデルを信頼できる（プライバシーに敏感な）部分と信頼できない（計算負荷の高い）部分に非対称的に分解するフレームワークを提案する。信頼できる部分は信頼実行環境（TEE）にオフロードされ、残りの部分は信頼できないGPUに任される。これにより、TEEオンリーエグゼキューションと比較して推論が11.2倍速くなり、学習が7.6倍速くなる。特徴量における低ランク特性を活用することで、プライバシーを保ちながら、性能を著しく向上させる。

ABSTRACT

Leveraging parallel hardware (e.g. GPUs) to conduct deep neural network (DNN) training/inference, though significantly speeds up the computations, raises several data privacy concerns. Trusted execution environments (TEEs) have emerged as a promising solution to enable privacy-preserving inference and training. TEEs, however, have limited memory and computation resources which renders it not comparable to untrusted parallel hardware in performance. To mitigate the trade-off between privacy and computing performance, we propose an asymmetric model decomposition framework, AsymML, to (1) accelerate training/inference using parallel hardware; and (2) preserve privacy using TEEs. By exploiting the low-rank characteristics in data and intermediate features, AsymML asymmetrically splits a DNN model into trusted and untrusted parts: the trusted part features privacy-sensitive data but incurs small compute/memory costs; while the untrusted part is computationally-intensive but not privacy-sensitive. Computing performance and privacy are guaranteed by respectively delegating the trusted and untrusted part to TEEs and GPUs. Furthermore, we present a theoretical rank bound analysis showing that low-rank characteristics are still preserved in intermediate features, which guarantees efficiency of AsymML. Extensive evaluations on DNN models shows that AsymML delivers $11.2 imes$ speedup in inference, $7.6 imes$ in training compared to the TEE-only executions.

研究の動機と目的

• 信頼実行環境（TEE）に依存するプライバシー保護型DNN学習および推論における性能ボトルネックを解消すること。TEEはメモリおよび計算リソースが限られている。
• プライバシーと計算効率のトレードオフを、DNNモデルを信頼できる部分と信頼できない部分に非対称的に分割することで克服すること。
• データおよび中間特徴量における低ランク特性を活用し、信頼できる部分を小さく・効率的に保ちながら、モデルの精度を維持すること。
• 信頼できない並列ハードウェア（例：GPU）に信頼できない計算負荷の高い部分を委譲することで、DNN推論および学習の高性能化を実現するとともに、TEEを介したデータプライバシーの保護を維持すること。
• 理論的および実験的に、中間特徴量に低ランク特性が保持されることを検証し、効率的かつ安全なモデル分解の可能性を裏付けること。

提案手法

• DNNを2つの部分に非対称的に分解する：信頼できる部分はTEEに格納・実行され、信頼できない部分は信頼できない並列ハードウェア（例：GPU）で実行される。
• 入力データおよび中間特徴マップにおける低ランク特性を活用して、信頼できる部分のサイズおよび計算コストを最小限に抑える。
• 分解を設計する際、プライバシーに敏感な重みおよび活性化関数がTEEに限定されるようにし、大部分の計算が信頼できないハードウェアにオフロードされるようにする。
• 理論的ランクバウンド解析を適用し、深層ネットワークにおける中間特徴量が低ランク構造を維持することを証明することで、分解の妥当性と効率性を保証する。
• TEEと信頼できないハードウェア間の計算を同期させるトレーニングおよび推論パイプラインを設計し、通信オーバーヘッドを最小限に抑えつつ、モデル精度を保持する。
• ハイブリッド実行モデルを採用し、信頼できる部分はプライバシーに重要な操作（例：機微な重みの更新）を実行し、信頼できない部分は大規模な行列演算を高速化する。

実験結果

リサーチクエスチョン

• RQ1 データおよび中間特徴量における低ランク特性を活用することで、プライバシー保護型DNNの効率的かつ安全なモデル分解が可能になるか？
• RQ2 プライバシーに敏感なコンponentsをTEEに保ちながら、計算負荷の高い部分を信頼できないGPUにオフロードすることで、性能はどの程度向上するか？
• RQ3 複数のレイヤーを経過しても、中間特徴量の低ランク構造は保持されるのか？ これにより、顕著な精度損失なしに効果的な分解が可能になるか？
• RQ4 深層ネットワークにおける中間特徴量のランクの理論的上限は何か？ そして、これは効率的な非対称的分解フレームワークの設計をどのように支援するか？
• RQ5 AsymMLの性能向上は、推論および学習速度においてTEEオンリーエグゼキューションと比較してどの程度顕著か？

主な発見

• AsymMLは、計算の大部分を信頼できないGPUにオフロードすることで、TEEオンリーエグゼキューションと比較してDNN推論で11.2倍の高速化を達成した。
• フレームワークは、TEEオンリートレーニングと比較してDNN学習で7.6倍の高速化を実現し、プライバシーを損なわず、大幅な性能向上を実現した。
• 理論的分析により、中間特徴量に低ランク特性が保持されることを確認し、非対称的分解アプローチの効率性を裏付けた。
• AsymMLにおける信頼できる部分は、計算およびメモリオーバーヘッドが最小限に抑えられており、TEEの制限されたリソース内でも実行可能である。
• DNNモデルに対する実験的評価では、AsymMLがプライバシーに敏感なワークロードの実行時間を著しく短縮しながらも、高いモデル精度を維持していることが示された。
• フレームワークは、機微な操作をTEEに隔離し、非機微な操作を信頼できないハードウェアで高速化することで、プライバシーと性能の懸念を効果的に分離した。