[論文レビュー] Shredder: Learning Noise Distributions to Protect Inference Privacy

Fatemehsadat Mireshghallah, Mohammadkazem Taram+3 more|arXiv (Cornell University)|May 26, 2019

Privacy-Preserving Technologies in Data参考文献 74被引用数 5

ひとこと要約

Shredderは、中間の深層ニューラルネットワーク（DNN）活性化に学習された加法的ノイズ分布を挿入することで、プライバシーを保護するフレームワークであり、正確な推論を実現しながら、クラウドへの漏洩する情報量を顕著に削減する。モデルや推論パイプラインを変更せずに、別個のオフライン学習プロセスを用いることで、入力と送信データ間の相互情報量を74.70%削減し、精度損失はたった1.58%にとどめる。

ABSTRACT

A wide variety of deep neural applications increasingly rely on the cloud to perform their compute-heavy inference. This common practice requires sending private and privileged data over the network to remote servers, exposing it to the service provider and potentially compromising its privacy. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks in the cloud. To that end, this paper aims to reduce the information content of the communicated data with as little as possible compromise on the inference accuracy by making the sent data noisy. An undisciplined addition of noise can significantly reduce the accuracy of inference, rendering the service unusable. To address this challenge, this paper devises Shredder, an end-to-end framework, that, without altering the topology or the weights of a pre-trained network, learns additive noise distributions that significantly reduce the information content of communicated data while maintaining the inference accuracy. The key idea is finding the additive noise distributions by casting it as a disjoint offline learning process with a loss function that strikes a balance between accuracy and information degradation. The loss function also exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. Experimentation with six real-world DNNs from text processing and image classification shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 74.70% compared to the original execution while only sacrificing 1.58% loss in accuracy. On average, Shredder also offers a speedup of 1.79x over Wi-Fi and 2.17x over LTE compared to cloud-only execution when using an off-the-shelf mobile GPU (Tegra X2) on the edge.

研究の動機と目的

• 信頼できないまたは改ざんされたクラウドプロバイダーにさらされる機微なユーザー・データが、クラウドベースの深層学習推論において増大するプライバシー危険に対処すること。
• 特にリアルタイムでエッジ支援型の推論が求められる状況において、推論精度を劣化させることなく、クラウドに送信されるデータの情報含量を低減すること。
• 暗号技術（同型暗号やセキュアマルチパーティ計算など）の高い計算コストを回避し、モデルの完全性を保ちながら、軽量で侵入性のないソリューションを提供すること。
• 数学的に裏付けられた最適化ノブを用いて、プライバシーと精度の間で調整可能な非対称的トレードオフを実現すること。
• 元のDNNアーキテクチャやクラウドモデルの再トレーニングを必要とせず、推論フェーズでのみ動作するシステムを設計すること。

提案手法

• Shredderは、精度と情報劣化のバランスを取る微分可能損失関数を用いて、ノイズ分布を別個のオフライン学習プロセスとして定式化する。
• フレームワークは、主にラプラス分布としての加法的ノイズ分布を、モデルの精度と入力および送信データ間の相互情報量の両方を含む複合損失を最小化することで学習する。
• 推論時、エッジデバイスは事前に学習されたノイズ分布からサンプリングし、そのサンプルされたノイズテンソルをクラウドへの送信前に中間DNN活性化に加算する。
• この方法は、元のDNNアーキテクチャや重みを変更せず、クラウドの推論パイプラインをそのままで維持するため、既存のモデルとのシームレスな統合が可能である。
• 損失関数には、プライバシー（情報低減）と精度（モデル性能）のトレードオフを制御できるハイパーパrameterノブが含まれている。
• 形式的な数学的分析により、制約下でプライバシーを最大化するとともに精度劣化を最小化することが証明されており、トレードオフに理論的保証が与えられている。

実験結果

リサーチクエスチョン

• RQ1 DNN推論中にクラウドに送信されるデータの情報含量を、モデルの精度を著しく劣化させることなく低減できるか？
• RQ2 侵入性のないエンドツーエンドの方法で、プライバシーと精度の最適なトレードオフを実現するノイズ分布をどのように学習できるか？
• RQ3 事前学習済みモデルを変更せず、推論時に再トレーニングを必要とせずに、これを達成できるか？
• RQ4 このようなノイズ挿入が、通信効率や多様なDNNにおける実世界のパフォーマンスに与える影響は何か？
• RQ5 実用的で展開可能なシステムにおいて、プライバシーと精度のトレードオフに形式的な数学的保証を提供できるか？

主な発見

• Shredderは、元の変更なしのDNN実行と比較して、入力データと送信された中間特徴間の相互情報量を74.70%削減した。
• フレームワークは、画像分類およびテキスト処理ワークロードからの6つの実世界DNNにおいて、平均で1.58%の精度損失しか発生しなかった。
• オールド・ザ・シェルフのモバイルGPU（Tegra X2）を用いた場合、Wi-Fiでは平均1.79倍、LTEでは平均2.17倍の高速化を達成した。
• ノイズは微分可能でエンドツーエンドの最適化プロセスによって学習されるため、モデルの挙動が保持され、高い有用性と精度を維持している。
• 損失関数内の数学的ノブにより、ユーザーが情報漏洩のレベルを制御できる調整可能なプライバシー・精度トレードオフを実現している。
• Shredderは、同型暗号やセキュアマルチパーティ計算といった暗号的代替手法を上回っており、これらは著しい遅延と計算コストに苦しんでいる。