[論文レビュー] Quantifying Information Leakage from Gradients.

Fan Mo, Anastasia Borovykh+3 more|arXiv (Cornell University)|May 28, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

この論文は、共同学習における深層ニューラルネットワークの勾配から生じるオリジナル情報および隠れ情報漏洩の度合を測定する、新しい情報理論的指標を提案する。勾配感度と部分空間距離を用いて、最初の層が最も多くのオリジナルデータを漏洩させ、分類器層が最も多くの隠れ属性を漏洩させることを明らかにし、勾配集約などの学習ハイパーパrameterが漏洩を軽減できることを示している。

ABSTRACT

Sharing deep neural networks' gradients instead of training data could facilitate data privacy in collaborative learning. In practice however, gradients can disclose both private latent attributes and original data. Mathematical metrics are needed to quantify both original and latent information leakages from gradients computed over the training data. In this work, we first use an adaptation of the empirical $\mathcal{V}$-information to present an information-theoretic justification for the attack success rates in a layer-wise manner. We then move towards a deeper understanding of gradient leakages and propose more general and efficient metrics, using sensitivity and subspace distance to quantify the gradient changes w.r.t. original and latent information, respectively. Our empirical results, on six datasets and four models, reveal that gradients of the first layers contain the highest amount of original information, while the classifier/fully-connected layers placed after the feature extractor contain the highest latent information. Further, we show how training hyperparameters such as gradient aggregation can decrease information leakages. Our characterization provides a new understanding on gradient-based information leakages using the gradients' sensitivity w.r.t. changes in private information, and portends possible defenses such as layer-based protection or strong aggregation.

研究の動機と目的

• 共同学習におけるモデル勾配からの情報漏洩を定量化するための数学的指標の不足に対処すること。
• 勾配更新におけるオリジナルなトレーニングデータとプライベートな隠れ属性の漏洩を区別すること。
• プライベート情報の変化に対する感受性を捉える、効率的でレイヤー単位の指標を開発すること。
• 勾配集約などの学習ハイパーパrameterが情報漏洩に与える影響を評価すること。
• 漏洩の特徴をもとに、レイヤー別保護戦略に基づいた標的防御を可能にすること。

提案手法

• 実験的V情報の適応を用いて、レイヤー単位で攻撃成功確率の妥当性を裏付ける。
• 入力変更に対する感受性としての勾配感度を、オリジナルデータ漏洩の度合を定量化する指標として提案する。
• 勾配部分空間間の部分空間距離を導入し、隠れ属性の漏洩度を測定する。
• 6つのデータセットと4つのモデルを用いて、これらの指標を適用し、レイヤー単位の漏洩パターンを分析する。
• 勾配集約やその他のハイパーパrameterが漏洩を軽減する影響を評価する。
• 情報理論的原則を用いて、感受性および部分空間距離の指標の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのどのレイヤーが勾配を通じて最も多くのオリジナルトレーニングデータを漏洩させるか？
• RQ2 どのレイヤーが勾配更新を通じて最も多くのプライベートな隠れ属性を漏洩させるか？
• RQ3 入力データの変更が勾配感度に与える影響は何か？ これはオリジナル情報漏洩の性質をどのように明らかにするか？
• RQ4 勾配集約は、すべてのレイヤーで情報漏洩をどの程度軽減できるか？
• RQ5 勾配部分空間間の部分空間距離は、隠れ属性漏洩を効果的に測定できるか？

主な発見

• 入力変更に対する勾配感度の測定により、深層ニューラルネットワークの最初のレイヤーが、最も高いオリジナル情報漏洩度を示している。
• 特徴抽出器の後の分類器および全結合レイヤーが、勾配部分空間間の部分空間距離によって示されるように、最も高い隠れ情報漏洩度を示している。
• トレーニング中の勾配集約は、評価されたすべてのモデルとデータセットで、オリジナルおよび隠れ情報漏洩の両方を顕著に軽減している。
• 提案された感受性および部分空間距離の指標は、レイヤー単位の漏洩パターンを効果的に捉えており、詳細な分析を可能にしている。
• 結果から、微分プライバシーまたは勾配マスキングなどのレイヤー別保護戦略が、漏洩度の高いレイヤーに優先的に適用されるべきであることが示唆される。
• 6つのデータセットと4つのモデルにおける実験的評価により、一貫した漏洩パターンが確認され、提案指標の堅牢性が裏付けられた。