[論文レビュー] Privacy-preserving Learning via Deep Net Pruning

Yangsibo Huang, Yushan Su+4 more|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 69被引用数 8

ひとこと要約

この論文は、マグニチュードベースのニューラルネットワークプルーニングが、隠れ層の活性化に微分プライバシー（DP）ノイズを追加することと理論的に同等であることを確立し、精度の著しい損失なしにプライバシーを保持できることを示している。幅の広いネットワーク層のプルーニングが微分プライバシーを満たすことを証明し、実験的に、同じ精度制約下で、従来のノイズ追加よりもプルーニングがより多くのプライバシーを保持することを示している。

ABSTRACT

This paper attempts to answer the question whether neural network pruning can be used as a tool to achieve differential privacy without losing much data utility. As a first step towards understanding the relationship between neural network pruning and differential privacy, this paper proves that pruning a given layer of the neural network is equivalent to adding a certain amount of differentially private noise to its hidden-layer activations. The paper also presents experimental results to show the practical implications of the theoretical finding and the key parameter values in a simple practical setting. These results show that neural network pruning can be a more effective alternative to adding differentially private noise for neural networks.

研究の動機と目的

• ニューラルネットワークのプルーニングが、微分プライバシーのノイズ追加の代替として機能できるかどうかを調査すること。
• 深層学習におけるプルーニングと微分プライバシーの間の理論的関係を確立すること。
• 分散学習環境下で、データの有用性を維持しながらプライバシー漏洩を低減できるかどうかを評価すること。
• 深層ニューラルネットワークにおけるプルーニングと従来のノイズ追加の間のプライバシー・ユーティリティトレードオフを比較すること。

提案手法

• 理論的分析により、ニューラルネットワーク層のマグニチュードベースのプルーニングが、その隠れ活性化に特定量の微分プライバシー（DP）ノイズを注入することと同等であることを示している。
• ネットワークの幅が十分に広いという条件下で、集中不等式と感度解析を用いてこの同等性を証明している。
• 訓練中に重みをマグニチュードのしきい値に基づいて段階的にプルーニングする戦略を採用している。
• 同じプライバシー予算と精度目標を用いて、微分プライバシーのノイズ注入メカニズムとプルーニングを形式的に比較している。
• MNISTおよびCIFAR-10データセットを用いた実験により、プライバシー漏洩を測定するための画像再構成攻撃を用いて理論的発見を検証している。
• フレームワークは、再構成された画像と元の入力の類似度をプライバシーの指標として評価しており、類似度が低いほどプライバシー保護が強いとされる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク層のマグニチュードベースのプルーニングは、その活性化に微分プライバシー（DP）ノイズを追加することと同等であるか？
• RQ2 ネットワーク幅が十分に広い場合、プルーニングが微分プライバシーの保証を達成できるか？
• RQ3 深層ニューラルネットワークにおける、プルーニングと従来の微分プライバシー（DP）ノイズ追加のプライバシー・ユーティリティトレードオフは、どのように比較できるか？
• RQ4 プルーニングのスパarsity（スパースネス）を高めることで、隠れ層表現に対する画像再構成攻撃の成功率はどの程度低下するか？
• RQ5 同じ精度制約下で、プルーニングはノイズ追加よりもより多くのプライバシーを保持できるか？

主な発見

• 広いニューラルネットワーク層のマグニチュードベースのプルーニングは、形式的に微分プライバシーであることが証明されており、プルーニングとノイズ注入の間の正式な同等性が確立されている。
• 数百程度のネットワーク幅があれば、実用的なプライバシー予算下で、プルーニングと微分プライバシーの理論的同等性が成立する。
• MNISTおよびCIFAR-10において、同じモデル精度を維持しながら、プルーニングは微分プライバシー（DP）ノイズを追加するのよりもはるかに多くのプライバシーを保持している。
• プルーニングのスパarsity（例：90%まで）を高めるにつれて、隠れ層表現に対する画像再構成攻撃は意味のある入力を再構成できず、ほぼ黒い画像が生成されるようになる。
• モデル精度が0.2未満に低下すると、プルーニングとノイズ追加の両者とも、信号がノイズに支配されるため、類似したプライバシー漏洩が生じる。
• 実験結果は、プルーニングのスパarsity（スパースネス）が高くなるほど、再構成画像と元の画像の類似度が低下することを確認しており、これはより強いプライバシー保護を示している。