[論文レビュー] Deep Leakage from Gradients

Ligeng Zhu, Zhijian Liu+1 more|arXiv (Cornell University)|Jun 21, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 20

ひとこと要約

本稿では、分散機械学習における共有勾配から、画像およびテキストを含むプライベートなトレーニングデータを正確に再構築できる最適化ベースの攻撃である Deep Leakage from Gradients (DLG) を提案する。この手法は、ダミー入力およびラベルを繰り返し最適化することで、実際の勾配と一致させ、数ステップでピクセル単位およびトークン単位の正確な回復を達成する。これにより、勾配共有システムにおける深刻なプライバシーの脆弱性が露呈される。

ABSTRACT

Exchanging gradients is a widely used method in modern multi-node machine learning system (e.g., distributed training, collaborative learning). For a long time, people believed that gradients are safe to share: i.e., the training data will not be leaked by gradient exchange. However, we show that it is possible to obtain the private training data from the publicly shared gradients. We name this leakage as Deep Leakage from Gradient and empirically validate the effectiveness on both computer vision and natural language processing tasks. Experimental results show that our attack is much stronger than previous approaches: the recovery is pixel-wise accurate for images and token-wise matching for texts. We want to raise people's awareness to rethink the gradient's safety. Finally, we discuss several possible strategies to prevent such deep leakage. The most effective defense method is gradient pruning.

研究の動機と目的

• 分散機械学習における共有勾配がプライベートなトレーニングデータを漏洩させることを調査すること。
• 生成モデルや事前データ知識に依存せずに、勾配から正確なトレーニングサンプル（入力およびラベル）を再構築する手法を開発すること。
• 視覚および自然言語処理のタスクにわたり、勾配ベースのデータ再構築の実現可能性と有効性を評価すること。
• モデルの有用性を維持したまま、このような深刻な漏洩を防ぐ防御戦略を同定および分析すること。

提案手法

• 攻撃は、入力データおよびラベルを学習可能な変数として扱う最適化フレームワークを用いる。初期化はランダムに実施される。
• ダミーデータに対して順伝播および逆伝播を実行し、勾配を計算。その後、これらの勾配とモデルからの実際の勾配との間の L2 距離を最小化する。
• ダミー入力およびラベルを交互に更新することで、実際の勾配と一致させ、最終的に元のトレーニングサンプルに収束する。
• 再構築された入力およびラベルが元のデータと区別できないまで、反復的に適用される。
• 生成モデル、クラスラベル、または事前分布の仮定を一切必要としない。
• 防御は、勾配ノイズ（ガウス分布／ラプラス分布）、低精度表現（fp16、bfloat16、int8）、勾配スパース化（プルーニング）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 分散機械学習システムにおいて、公開された共有勾配からプライベートなトレーニングデータを再構築できるか？
• RQ2 生成された近似値ではなく、勾配情報のみを用いて正確な入力サンプル（正確な入力）を回復できるか？
• RQ3 勾配ノイズ、量子化、スパース化といった一般的な防御策が、この攻撃を緩和するのにどの程度有効か？
• RQ4 勾配ベースのデータ漏洩が発生する状況下で、モデルの精度と防御効果のトレードオフは何か？

主な発見

• DLG は画像分類タスクでピクセル単位の正確さ、マスクされた言語モデルタスクでトークン単位の正確一致を達成し、トレーニングデータを正確に再構築した。
• わずか数百分の1の最適化ステップで完全なデータ再構築が達成され、高い効率性と有効性を示した。
• ノイズスケールが 10^-2 より大きい（ガウス分布またはラプラス分布）勾配ノイズが攻撃を効果的に防止したが、それ以下のスケールでは失敗した。
• 半精度形式（fp16、bfloat16）は DLG を防げず、精度が低下しても攻撃は依然として有効であった。
• スパース性が 20% 以上の勾配プルーニングは漏洩を防止できたが、より高いスパース性（例：99%）は非常に有効であったが、モデル精度を低下させた。
• 整数型量子化（int8）は攻撃を防げたが、CIFAR-100 では精度が著しく低下（53.7% にまで低下）し、強いトレードオフが生じた。