[論文レビュー] iDLG: Improved Deep Leakage from Gradients

Bo Zhao, Konda Reddy Mopuri+1 more|arXiv (Cornell University)|Jan 8, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用数 376

ひとこと要約

iDLG は共有勾配から真のラベルを解析的に抽出し、これを用いてデータ再構成を改善し、MNIST、CIFAR-100、LFW 全体でラベル抽出精度100%を達成し、データ忠実度で元の DLG を上回る。

ABSTRACT

It is widely believed that sharing gradients will not leak private training data in distributed learning systems such as Collaborative Learning and Federated Learning, etc. Recently, Zhu et al. presented an approach which shows the possibility to obtain private training data from the publicly shared gradients. In their Deep Leakage from Gradient (DLG) method, they synthesize the dummy data and corresponding labels with the supervision of shared gradients. However, DLG has difficulty in convergence and discovering the ground-truth labels consistently. In this paper, we find that sharing gradients definitely leaks the ground-truth labels. We propose a simple but reliable approach to extract accurate data from the gradients. Particularly, our approach can certainly extract the ground-truth labels as opposed to DLG, hence we name it Improved DLG (iDLG). Our approach is valid for any differentiable model trained with cross-entropy loss over one-hot labels. We mathematically illustrate how our method can extract ground-truth labels from the gradients and empirically demonstrate the advantages over DLG.

研究の動機と目的

• 分散学習における勾配共有の脆弱性を動機づけ、 private training data を暴露する可能性を示す。
• モデルアーキテクチャに依存せず、勾配から真のラベルを識別する手法を導出する。
• 抽出したラベルを用いて勾配整合再構成を駆動させることで、データ流出を改善する iDLG を提案する。

提案手法

• 出力勾配と真のラベルとの符号ベースの関係を、one-hot ラベルを用いたクロスエントロピーの下で導出する。
• 最後の層の重みの勾配が符号パターンに基づいて真のラベルを明らかにすることを示す。
• 共有勾配から符号ベースの基準で真のラベルを抽出する。
• ダミー入力を初期化し、ダミー勾配と共有勾配の Frobenius ノルムの差を最小化するように最適化する。
• ダミー入力を勾配降下法で更新し、抽出したラベルを用いてプライベートデータを再構成する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャに関係なく、共有勾配から真のラベルを信頼性高く推定できるか？
• RQ2 抽出したラベルを用いると、DLGと比較してデータ再構成の忠実度と収束性は向上するか？
• RQ3 MNIST、CIFAR-100、LFW のような異なる難易度のデータセットで iDLG の性能はどうか？
• RQ4 グラデエントアクセス範囲（サンプルごとの勾配） の影響は漏洩の効果にどう影響するか？

主な発見

データセット	DLG（ラベル精度）	iDLG（ラベル精度）
MNIST	89.9%	100.0%
CIFAR-100	83.3%	100.0%
LFW	79.1%	100.0%

• iDLG は MNIST、CIFAR-100、LFW の各データセットで真のラベル抽出精度を 100% に達成し、DLG は頻繁に誤ラベリングする。
• iDLG は 3 データセットすべてでデータ忠実度を常に上回り、難易度が高い LFW タスクで顕著な向上を示す。
• 1000 回の試行において、iDLG はより高いラベル抽出精度と再構成データの忠実度（MSE が低い）を示す。
• 手法は収束が早く、DLG と比較して同等の忠実度に達するのに必要な反復回数が少ない（例: LFW で提供された例では 90 回 vs 200 回の反復）。