[論文レビュー] On Achieving Privacy-Preserving State-of-the-Art Edge Intelligence

Chabal, Daphnee, Sapra, Dolly+1 more|arXiv (Cornell University)|Feb 10, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、最先端のエッジインテリジェンスにおけるプライバシー保護技術として、秘密分散方式が最も適していると主張しており、特に知識蒸留と低ランク近似を含むモデル圧縮技術が、Transformerのような現代的で複雑なモデルにおける秘密分散型DNN推論の通信および計算オーバーヘッドを低減する鍵となることを特定している。

ABSTRACT

Deep Neural Network (DNN) Inference in Edge Computing, often called Edge Intelligence, requires solutions to insure that sensitive data confidentiality and intellectual property are not revealed in the process. Privacy-preserving Edge Intelligence is only emerging, despite the growing prevalence of Edge Computing as a context of Machine-Learning-as-a-Service. Solutions are yet to be applied, and possibly adapted, to state-of-the-art DNNs. This position paper provides an original assessment of the compatibility of existing techniques for privacy-preserving DNN Inference with the characteristics of an Edge Computing setup, highlighting the appropriateness of secret sharing in this context. We then address the future role of model compression methods in the research towards secret sharing on DNNs with state-of-the-art performance.

研究の動機と目的

• 現代的で計算が複雑なエッジAIワークロードに特化したプライバシー保護型DNN推論ソリューションのギャップを埋める。
• エッジコンピューティング環境の制約、特に限られたデバイスリソースとリアルタイム要件と、既存のプライバシー保護技術の適合性を評価する。
• 信頼性の低い分散型エッジアーキテクチャと整合性を持つ強固なセキュリティ保証を有するため、秘密分散方式がエッジインテリジェンスに最も適していると特定する。
• 秘密分散型DNN推論における計算および通信負荷を軽減するため、モデル圧縮技術がどのように機能するかを調査する。
• 自己注意機構を含む新規レイヤーを有する将来のDNNアーキテクチャ（例：Transformer）と秘密分散方式を統合するための研究的指針を提供する。

提案手法

• エッジ環境におけるDNN推論のための既存のプライバシー保護技術を評価し、スケーラビリティおよび最新の実世界の最先端モデルとの適合性に焦点を当てる。
• エッジサーバーに対する信頼を必要とせず、モデル重み、入力、出力を保護できる点から、秘密分散方式が最も現実的であると特定する。
• 特にマルチパーティ環境における非線形演算の数が多く、通信ラウンドが多いため、エッジ環境における秘密分散方式の計算コストを分析する。
• 通信および計算負荷を軽減するための3つのモデル圧縮戦略（量子化、プルーニング、知識蒸留、低ランク近似）を調査する。
• 知識蒸留と低ランク近似が、モデルサイズとレイヤー数・演算数を両方削減できるため、秘密分散型推論において最も効果的であると提言する。
• 自己注意機構や再帰的ユニットといった非一様で複雑なレイヤーを処理できる新しい秘密分散プロトコルの開発が不可欠であることを強調する。

実験結果

リサーチクエスチョン

• RQ1 既存のプライバシー保護型DNN推論技術は、エッジコンピューティング環境の計算および通信制約とどの程度適合するか？
• RQ2 他の暗号技術と比較して、なぜ秘密分散方式がプライバシー保護型エッジインテリジェンスに特に適しているのか？
• RQ3 モデル圧縮技術は、エッジ環境における秘密分散型DNN推論のパフォーマンスオーバーヘッドをどの程度軽減できるか？
• RQ4 自己注意機構やTransformerのような新規レイヤーを有する最先端DNNに秘密分散プロトコルを適応させる際の主な課題は何か？
• RQ5 量子化、プルーニング、知識蒸留、低ランク近似のうち、どのモデル圧縮手法が、現代のモデルにおける安全で効率的な秘密分散型推論を最も効果的に可能にするか？

主な発見

• 秘密分散方式は、強固なセキュリティ保証と分散型・低信頼性のエッジアーキテクチャと整合性を持つため、エッジインテリジェンスにおける最も適切なプライバシー保護技術である。
• 現在の秘密分散プロトコルは、非線形演算や自己注意機構のような複雑なレイヤーに起因する通信ラウンド数の増加と計算オーバーヘッドのため、最先端DNNでは困難である。
• 量子化は通信量を削減できるが、通信ラウンド数を減らさないため、高遅延エッジ環境では有効性が制限される。
• プルーニングは、通信ラウンド数や非線形演算の複雑さを減らさないため、秘密分散のオーバーヘッドに対して限定的な利点しか与えない。
• 知識蒸留と低ランク近似は、レイヤー数と演算数を両方削減できるため、計算および通信要件の両方を効果的に低減できる。
• BERTをDistilBERT や Ladabert に圧縮する最近の成功事例は、圧縮モデルが高い精度を維持しながらも、秘密分散型推論に適していることを示している。