[論文レビュー] Data Leakage in Federated Averaging

Dimitar I. Dimitrov, Mislav Balunović+2 more|arXiv (Cornell University)|Jun 24, 2022

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本稿は、隠された中間重み、複数のローカルバッチ、および同時発生するラベル・パラメータ変更といった課題を克服する、最適化に基づくデータ漏洩攻撃を、Federated Averaging (FedAvg) を標的として提案する。自動微分を用いたシミュレーションベースの再構成損失と、エポック順序に依存しない事前分布を組み合わせることで、10回のローカルエポックおよび1エポックあたり10バッチの設定下でFEMNIST上で45%の画像を回復可能にした。これは、ベースラインのFedSGD攻撃に比べ顕著に優れている。

ABSTRACT

Recent attacks have shown that user data can be recovered from FedSGD updates, thus breaking privacy. However, these attacks are of limited practical relevance as federated learning typically uses the FedAvg algorithm. Compared to FedSGD, recovering data from FedAvg updates is much harder as: (i) the updates are computed at unobserved intermediate network weights, (ii) a large number of batches are used, and (iii) labels and network weights vary simultaneously across client steps. In this work, we propose a new optimization-based attack which successfully attacks FedAvg by addressing the above challenges. First, we solve the optimization problem using automatic differentiation that forces a simulation of the client's update that generates the unobserved parameters for the recovered labels and inputs to match the received client update. Second, we address the large number of batches by relating images from different epochs with a permutation invariant prior. Third, we recover the labels by estimating the parameters of existing FedSGD attacks at every FedAvg step. On the popular FEMNIST dataset, we demonstrate that on average we successfully recover >45% of the client's images from realistic FedAvg updates computed on 10 local epochs of 10 batches each with 5 images, compared to only <10% using the baseline. Our findings show many real-world federated learning implementations based on FedAvg are vulnerable.

研究の動機と目的

• FedAvgの更新からクライントデータを回復する際の主な課題を特定・解決すること。これは、中間重みの変化やバッチ多様性のため、FedSGDとは比較してより複雑である。
• 複数のローカルエポックおよびバッチを含む現実的なFedAvg設定で動作する実用的なデータ漏洩攻撃を開発すること。
• ラベルカウントの推定と、エポック間のバッチ順序に依存しない構造的事前分布を活用することで、再構成精度を向上させること。
• 実世界のシステムで広く使われているFedAvgが、プライバシー保護設計を有するにもかかわらず、データ再構成攻撃に対して脆弱であることを示すこと。

提案手法

• 攻撃は自動微分を用いてクライントのローカル学習プロセスをシミュレートし、ダミー入力およびラベルの最適化により最終モデル重みを再現する。
• ローカル更新中の重み変化を考慮した、シミュレーションベースの再構成損失（$\mathcal{L}_{\text{sim}}$）を導入する。
• エポック順序に依存しない事前分布（$\mathcal{L}_{\text{inv}}$）を導入し、関数$g$（例：平均または最大）を用いて画像系列を圧縮し、エポック間で比較することでバッチの複雑さを低減する。
• FedSGDに類似した拡張を用いてラベルカウント（$\widetilde{\lambda}^c$）を推定し、再構成プロセスに情報を与え、精度を向上させる。
• $\mathcal{L}_{\text{sim}}$ と $\mathcal{L}_{\text{inv}}$ を、再構成忠実度と構造的一致性のバランスを取るために学習可能な重み $\lambda_{\text{inv}}$ を用いて統合する。
• FEMNISTでは $g = \text{mean}$ および $D_{\text{inv}} = \ell_2$ を使用する。CIFAR100では $g = \text{conv}+\max$ と $D_{\text{inv}} = \ell_2$ を使用し、特徴レベルの不変性を強化する。

実験結果

リサーチクエスチョン

• RQ1 中間モデル重みが存在せず、複数のローカルバッチが存在する状況下でも、FedAvgの更新からデータを効果的に再構成できるか？
• RQ2 バッチの順序が不明でエポック間で変動する状況下で、エポック順序に依存しない事前分布は再構成にどのように寄与するか？
• RQ3 シミュレーションベース損失と構造的事前分布を組み合わせることで、既存のFedSGDベースの攻撃に比べてFedAvgに対する性能がどの程度向上するか？
• RQ4 ラベルカウント推定と特徴レベルの事前分布は、CIFAR100のような複雑なデータセットの再構成品質向上にどのような役割を果たすか？
• RQ5 順序に依存しない関数や距離測度の選択が、最終的な再構成性能にどのように影響を与えるか？

主な発見

• 提案された攻撃は、現実的なFedAvg設定（10回のローカルエポック、1エポックあたり10バッチ、1バッチあたり5枚の画像）下で、FEMNISTデータセットにおいて45%のクライント画像を回復できた。これは、ベースラインのFedSGD攻撃が10%未満にとどまるのと比べ顕著に優れている。
• エポック順序に依存しない事前分布の使用は、特にCIFAR100において再構成品質を顕著に向上させた。ランダム畳み込みと最大プーリングの組み合わせが最良の結果をもたらした。
• $\ell_2$ 距離と平均関数は、$\ell_1$ や最大関数よりも一貫して優れた性能を示し、$\ell_2$ は複数のデータセットにわたる一般化性に優れている。
• FEMNISTでは畳み込み特徴の追加が性能向上に寄与しなかったため、単純な事前分布で十分なことが示唆された。
• CIFAR100では、$\text{conv}+\max$ 事前分布を用いることで、$\text{mean}$ と比較して再構成精度が2.8ポイント向上した。これは、複雑な特徴抽出が複雑なデータに対して性能向上に寄与することを示している。
• アブレーションスタディの結果、シミュレーション損失と順序に依存しない事前分布の両方が再構成成功に顕著に寄与しており、特に後者はバッチ順序の曖昧さを緩和する上で顕著に有効であった。