[論文レビュー] Shredder: Learning Noise to Protect Privacy with Partial DNN Inference on the Edge.

Fatemehsadat Mireshghallah, Mohammadkazem Taram+3 more|arXiv (Cornell University)|May 26, 2019

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

Shredder は、モデルや重みを変更せずに、DNN 推論中にクラウドに送信するデータの情報量を低減するための加法的ノイズ分布を学習するエンドツーエンドのフレームワークである。入力と送信データ間の相互情報量を 70.2% 削減しつつ、わずか 1.46% の精度損失に抑え、最小限のパフォーマンス的妥協でプライバシー保護型エッジ推論を実現する。

ABSTRACT

A wide variety of DNN applications increasingly rely on the cloud to perform their huge computation. This heavy trend toward cloud-hosted inference services raises serious privacy concerns. This model requires the sending of private and privileged data over the network to remote servers, exposing it to the service provider. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks [1,2] at the provider. To that end, this paper aims to reduce the information content of the communicated data without compromising the cloud service's ability to provide a DNN inference with acceptably high accuracy. This paper presents an end-to-end framework, called Shredder, that, without altering the topology or the weights of a pre-trained network, learns an additive noise distribution that significantly reduces the information content of communicated data while maintaining the inference accuracy. Shredder learns the additive noise by casting it as a tensor of trainable parameters enabling us to devise a loss functions that strikes a balance between accuracy and information degradation. The loss function exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. While keeping the DNN intact, Shredder enables inference on noisy data without the need to update the model or the cloud. Experimentation with real-world DNNs shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 70.2% compared to the original execution while only sacrificing 1.46% loss in accuracy.

研究の動機と目的

• 信頼できないチャネルを通じて送信される機微なデータが関与するクラウドベースの DNN 推論におけるプライバシーリスクに対処すること。
• 推論精度を低下させることなく、クラウドに送信するデータの情報量を低減すること。
• 入力にトレーニング可能なノイズを追加することで、エッジデバイス上でプライバシー保護型推論を可能にすること。
• 調整可能な損失関数を通じて、プライバシーと精度の間の制御可能で非対称なトレードオフを提供すること。
• 再訓練やアーキテクチャの変更なしに、元の DNN モデルと推論パイプラインを保持すること。

提案手法

• Shredder は、送信前に入力データにトレーニング可能なノイズテンソルを追加する微分可能ノイズ層を導入する。
• ノイズパラメータは、推論精度と情報劣化の両立を図るカスタム損失関数を介して最適化される。
• 損失関数には、モデル精度と相互情報量の低減のバランスを制御するトレードオフ係数が組み込まれている。
• フレームワークはエンドツーエンドで動作し、元の DNN アーキテクチャと重みを保持しており、クラウドモデルの再トレーニングは不要である。
• 損失関数内での微分可能な近似を用いて、入力と送信データ間の相互情報量を最小化する。
• ノイズを含む入力を処理することでエッジ上で部分的推論を実現し、クラウドに送信するデータ量を削減する。

実験結果

リサーチクエスチョン

• RQ1 推論精度を著しく低下させることなく、情報漏洩を顕著に低減できるような加法的ノイズを学習可能か？
• RQ2 トレーニング可能なノイズ機構を用いることで、入力と送信データ間の相互情報量をどの程度まで低減できるか？
• RQ3 提案されたフレームワークは、プライバシー強化の一方で高い推論精度を維持するのにどの程度有効か？
• RQ4 プライバシーと精度のトレードオフを、体系的かつ調整可能な方法で制御可能か？
• RQ5 再トレーニングやアーキテクチャ変更なしに、既存の DNN モデルと互換性を持つか？

主な発見

• Shredder は、元の DNN 推論と比較して、入力と送信データ間の相互情報量を 70.2% 削減した。
• フレームワークは推論精度がわずか 1.46% 割れに抑えられ、優れたユーティリティ-プライバシーのトレードオフを示した。
• アーキテクチャや重みの変更なしに、複数の実世界の DNN モデルにおいて高い精度を維持した。
• 損失関数により、調整可能なハイパーパrameterを通じて、プライバシーと精度の間の制御可能で非対称なトレードオフが可能である。
• エンドツーエンドでトレーニング可能であり、既存のクラウドベースの推論パイプラインとも互換性がある。
• ノイズが加えられ、情報量が低いデータをクラウドに送信することで、エッジデバイス上でプライバシー保護型推論を実現できる。