[論文レビュー] PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training

Meng Li, Liangzhen Lai+3 more|arXiv (Cornell University)|Sep 18, 2017

Privacy-Preserving Technologies in Data参考文献 17被引用数 28

ひとこと要約

PrivyNetは、DNNをローカル特徴抽出器とクラウドベースの分類器に分割するプライバシー保護型ディープラーニングフレームワークであり、事前学習済みネットワークを用いて中間表現を生成する。LDAに基づくプルーニングによりローカルネットワークのトポロジーを最適化することで、ランダム選択と比較して1.1%の精度向上と1.25 dB低いPSNR（プライバシー漏洩の低減を示す）を達成し、リソース制約のあるデバイス上でも強力なユーティリティ-プライバシーのトレードオフを実現する。

ABSTRACT

Massive data exist among user local platforms that usually cannot support deep neural network (DNN) training due to computation and storage resource constraints. Cloud-based training schemes provide beneficial services but suffer from potential privacy risks due to excessive user data collection. To enable cloud-based DNN training while protecting the data privacy simultaneously, we propose to leverage the intermediate representations of the data, which is achieved by splitting the DNNs and deploying them separately onto local platforms and the cloud. The local neural network (NN) is used to generate the feature representations. To avoid local training and protect data privacy, the local NN is derived from pre-trained NNs. The cloud NN is then trained based on the extracted intermediate representations for the target learning task. We validate the idea of DNN splitting by characterizing the dependency of privacy loss and classification accuracy on the local NN topology for a convolutional NN (CNN) based image classification task. Based on the characterization, we further propose PrivyNet to determine the local NN topology, which optimizes the accuracy of the target learning task under the constraints on privacy loss, local computation, and storage. The efficiency and effectiveness of PrivyNet are demonstrated with the CIFAR-10 dataset.

研究の動機と目的

• リソース制約のあるローカルデバイス上でディープニューラルネットワークを学習する課題に対処すること。
• 生のユーザーデータを転送せずにクラウドベースのDNN学習を可能にし、過剰なデータ収集に伴うプライバシーリスクを低減すること。
• 設定可能なローカルネットワークトポロジーを通じて、プライバシー漏洩とモデルユーティリティの間で柔軟かつ細分化されたトレードオフを実現すること。
• 計算能力やストレージ能力にばらつきのある多様なプラットフォームに適した軽量でデプロイ可能なフレームワークを設計すること。
• ローカルネットワークが再学習を必要とせず、プライバシーを保持するとともに計算オーバーヘッドを低減すること。

提案手法

• DNNを2つの部分に分割：ローカルニューラルネットワーク（NN）による特徴抽出と、クラウドベースのNNによるタスク固有の学習。
• ローカルNNを事前学習済みモデル（例：VGG16）から導出することで、ローカル学習を回避し汎用的特徴を埋め込む。
• データをプライバシー保護型の中間表現に変換するため、非線形かつ損失を伴う操作（畳み込み、プーリング）をローカルNNに適用。
• 線形判別分析（LDA）に基づく教師ありプルーニング戦略を用いて、ユーティリティの向上とプライバシー漏洩の低減を図る最適なチャネルを選択。
• 出力層および中間層の両方でチャネル選択を導入し、攻撃者がローカルNNの構造を推測できないようにする。
• プライバシー損失と精度のローカルNNトポロジーへの依存関係をモデル化するための特徴化フレームワークを導入し、制約下でのトポロジー最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ローカルニューラルネットワークのトポロジーは、分割DNN学習におけるプライバシー漏洩と分類精度のトレードオフにどのように影響するか？
• RQ2 事前学習済みネットワークを固定の特徴抽出器として効果的に再利用することで、ローカル学習を回避しつつ高いユーティリティを維持できるか？
• RQ3 LDAに基づく教師ありプルーニングは、ランダムまたは特徴化ベースのプルーニングと比較して、ユーティリティ-プライバシーのトレードオフをどの程度改善できるか？
• RQ4 中間層でのチャネル選択は、パフォーマンスに悪影響を及げることなく、ローカルネットワークの匿名性をどのように向上させるか？
• RQ5 プルーニングはローカル計算コストにどのような影響を及ぼし、ユーティリティの低下やプライバシー漏洩の増加を伴わずに著しく低減できるか？

主な発見

• LDAに基づくプルーニング戦略は、プルーニングなしのランダム選択と比較して、1.1%高い分類精度と1.25 dB低いPSNR（プライバシー漏洩の低減を示す）を達成した。
• 特徴化ベースのプルーニングと比較すると、LDAベースの手法は0.5%以内の類似した精度を維持しながら、0.45 dB低いプライバシー損失を達成し、より高い効率性を示した。
• ローカルNNの最初の畳み込み層のチャネル数を64から16にプルーニングすることで、実行時間は顕著に短縮され、精度やプライバシーへの影響は最小限に抑えられた。
• すべての畳み込み層を段階的にプルーニング（深さを半分に）することで、類似した精度とプライバシー水準を維持しながら、ローカル計算コストを著しく削減した。
• 中間層でのチャネル選択により、ローカルネットワークの匿名性が顕著に向上し、事前学習済みモデルが既知であっても攻撃者が構造を推測することが困難になった。
• フレームワークは複数の設定においてユーティリティとプライバシーのバランスを成功裏に実現した。実験結果により、リソース制約およびプライバシー制約下でのトポロジー最適化の有効性が裏付けられた。