[論文レビュー] Towards General Deep Leakage in Federated Learning

Jiahui Geng, Yongli Mou+5 more|arXiv (Cornell University)|Oct 18, 2021

Privacy-Preserving Technologies in Data参考文献 12被引用数 23

ひとこと要約

本稿は、フェデレーテッドラーニングにおける新たなロバストなディープリークレージョン攻撃を提案する。この攻撃は、共有勾配（FedSGD）やモデル重み（FedAvg）から、重複ラベルを含むバッチであっても、訓練画像とラベルを再構築可能であり、先行研究の主な限界を克服する。ゼロショットラベル回復手法と正則化技術を導入することで、画像品質と一貫性が向上し、CIFAR-10およびImageNetで高い忠実度を達成し、大規模バッチサイズや繰り返しラベルが存在する状況下でも最先端の性能を発揮する。

ABSTRACT

Unlike traditional central training, federated learning (FL) improves the performance of the global model by sharing and aggregating local models rather than local data to protect the users' privacy. Although this training approach appears secure, some research has demonstrated that an attacker can still recover private data based on the shared gradient information. This on-the-fly reconstruction attack deserves to be studied in depth because it can occur at any stage of training, whether at the beginning or at the end of model training; no relevant dataset is required and no additional models need to be trained. We break through some unrealistic assumptions and limitations to apply this reconstruction attack in a broader range of scenarios. We propose methods that can reconstruct the training data from shared gradients or weights, corresponding to the FedSGD and FedAvg usage scenarios, respectively. We propose a zero-shot approach to restore labels even if there are duplicate labels in the batch. We study the relationship between the label and image restoration. We find that image restoration fails even if there is only one incorrectly inferred label in the batch; we also find that when batch images have the same label, the corresponding image is restored as a fusion of that class of images. Our approaches are evaluated on classic image benchmarks, including CIFAR-10 and ImageNet. The batch size, image quality, and the adaptability of the label distribution of our approach exceed those of GradInversion, the state-of-the-art.

研究の動機と目的

• 共有モデル更新からプライベートな訓練データが再構築可能であるというフェデレーテッドラーニングにおける深刻なプライバシー脆弱性を解消すること。
• バッチに重複ラベルが含まれる場合に失敗する先行の再構築攻撃の限界を克服すること。
• 複数回のローカル学習エポックを経た後でも、共有勾配（FedSGD）およびモデル重み（FedAvg）から画像とラベルを回復する手法を開発すること。
• 画像初期化および正則化項を導入することで画像再構築品質を向上させ、回復された画像とラベルの整合性を評価すること。
• ラベル誤推定が画像回復品質を著しく低下させることを示し、同一クラスの画像が再構築時に融合されることを明らかにすること。

提案手法

• ラベル分布やクラス数の事前知識を必要としないゼロショットラベル回復手法を提案。これにより、繰り返しラベルが存在する状況下でも堅牢な推論が可能になる。
• 画像再構築の忠実度を向上させるために、画像初期化戦略と2つの正則化項（全変動正則化とラベルに依存する一貫性）を新たに導入。
• 同じバッチからの複数の勾配または重み更新を活用し、反復的最適化によって画像再構築品質を向上させるフレームワークを設計。
• 画像とラベル予測を同時に最適化する共同最適化プロセスを採用。これにより、両者の相関関係をモデル化し、全体の再構築精度を向上。
• 画像とラベルの一貫性に基づく類似度アライメント指標を用いて、回復データの品質を評価。これにより、現実的で意味的に整合性のある出力を保証。
• FedSGD（勾配共有）およびFedAvg（重み共有）の両シナリオに本手法を適用し、一般的なFL訓練プロトコルに一般化可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 バッチラベルが一意でない場合でも、フェデレーテッドラーニングにおける共有勾配または重みから、訓練データを再構築できるか？
• RQ2 ラベル誤推定は、フェデレーテッドラーニング攻撃における画像再構築品質にどのように影響するか？
• RQ3 同じバッチデータからの複数の更新を活用することで、画像再構築を改善できるか？
• RQ4 ラベル分布（例：繰り返しラベル）は、画像およびラベル回復の成功にどのような影響を及えるか？
• RQ5 再構築時に同一クラスの画像が融合することは、回復サンプルの現実性および意味的正確性にどのように影響するか？

主な発見

• 本手法は、バッチサイズ16でImageNetにおいて99.60%のラベル回復精度を達成し、ラベルが最大8回繰り返されても同様の性能を発揮。一方、GradInversionは同条件で49.39%に低下する。
• 重複ラベルが存在しても画像再構築品質が高く維持される：1つのラベルが繰り返される状況で、MSEはGradInversionの0.199から本手法の0.018に低下し、PSNRは10.639から19.122に上昇。
• バッチ内のすべての画像が同じラベルを持つ場合、本手法はクラスプロトタイプに類似した融合画像を再構築し、クラスレベルの意味的一貫性を示す。
• 複数のローカルエポックを経た後でも、モデル重みから画像を回復可能である。一方、InvertingGradientsのような先行研究は、バッチサイズとローカルエポックが1である場合にのみ有効である。
• 同じバッチからの複数の更新を活用することで、画像再構築品質が向上し、大規模バッチサイズ（最大256）および多様なクラス分布においても高い性能を維持。
• 実験的に、1つのラベルでさえ誤って推定された場合、画像復元が失敗することを確認。これにより、ラベルと画像再構築の強い相関関係が明確になった。