[論文レビュー] See through Gradients: Image Batch Recovery via GradInversion

Hongxu Yin, Arun Mallya+4 more|arXiv (Cornell University)|Apr 15, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用数 30

ひとこと要約

GradInversion は大規模ネットワークとデータセットに対して、個々の画像をバッチ平均勾配から再構成する。ラベル回復とグループ/リアリズム正則化を使用し、勾配ベース学習のプライバシーリスクを明らかにする。

ABSTRACT

Training deep neural networks requires gradient estimation from data batches to update parameters. Gradients per parameter are averaged over a set of data and this has been presumed to be safe for privacy-preserving training in joint, collaborative, and federated learning applications. Prior work only showed the possibility of recovering input data given gradients under very restrictive conditions - a single input point, or a network with no non-linearities, or a small 32x32 px input batch. Therefore, averaging gradients over larger batches was thought to be safe. In this work, we introduce GradInversion, using which input images from a larger batch (8 - 48 images) can also be recovered for large networks such as ResNets (50 layers), on complex datasets such as ImageNet (1000 classes, 224x224 px). We formulate an optimization task that converts random noise into natural images, matching gradients while regularizing image fidelity. We also propose an algorithm for target class label recovery given gradients. We further propose a group consistency regularization framework, where multiple agents starting from different random seeds work together to find an enhanced reconstruction of original data batch. We show that gradients encode a surprisingly large amount of information, such that all the individual images can be recovered with high fidelity via GradInversion, even for complex datasets, deep networks, and large batch sizes.

研究の動機と目的

• バッチ勾配漏洩を示すことによって、勾配ベースの協調学習および連合学習におけるプライバシーリスクを動機づける。
• 大規模なネットワークとデータセットにおいて、平均化されたバッチ勾配から元の画像を回復する GradInversion を開発する。
• 真のラベルを特定する手法と、正則化を通じて再構成忠実度を向上させる手法を提案する。

提案手法

• 勾配-matching 損失とリアリズム正則化を最小化するように入力再構成を最適化として位置づける。
• 最終の全結合層からの勾配を利用してバッチラベルを復元する。
• 全総変動正則化、L2、および BatchNorm の事前情報を用いて忠実度正則化を課し、現実的な画像を生成する。
• 複数のシードを同時最適化し、出力を登録して合意を形成することでグループ整合性正則化を導入する。
• 再構成中の探索を促進するために Langevin風ノイズで最適化を強化する。

実験結果

リサーチクエスチョン

• RQ1 GradInversion は大規模ネットワークと高解像度データセットに対して、バッチ平均勾配から元の画像を回復できるか？
• RQ2 最終分類層の勾配からバッチラベルをどれだけ正確に回復できるか？
• RQ3 忠実度およびグループ整合性正則化は回復画像のリアリズムと忠実度を改善するか？
• RQ4 バッチサイズが再構成品質と画像識別性に与える影響は？
• RQ5 本法は ImageNet レベルのタスクにおける従来の勾配反転手法とどのように比較されるか？

主な発見

Method	Requirements	FFT_2D (lower is better)	PSNR (higher is better)	LPIPS (lower is better)
Noise (starting point)	-	-	0.706	1.351
Latent projection (BigGAN-deep)	✓	✓	0.275	0.722
DeepInversion	✓	-	0.238	0.728
Inverting Gradients	✓	-	0.355	0.749
Deep Gradient Leakage	-	-	0.602	1.319
GradInversion - BN approx.	-	-	0.232	0.633
GradInversion - BN exact	-	-	0.175	0.484

• GradInversion は ResNet-50 の勾配から 224×224 の ImageNet 画像を、バッチサイズが最大 48 まで回復できる。
• 最終の全結合層勾配からのラベル回復は高い精度を示し、より大きなバッチでも高い精度を達成する。
• 忠実度正則化（BN priors を含む）は視覚的品質と元画像との定量的類似性を大幅に改善する。
• 複数シード最適化と登録によるグループ整合性正則化は回復忠実度をさらに高める。
• GradInversion は ImageNet 勾配に対する視覚的および定量的指標の両方で従来手法を上回る。