[論文レビュー] When the Curious Abandon Honesty: Federated Learning Is Not Private

Franziska Boenisch, Adam Dziedzic+4 more|arXiv (Cornell University)|Dec 6, 2021

Privacy-Preserving Technologies in Data被引用数 24

ひとこと要約

本稿では、悪意ある中央機関が「トラップ重み」と呼ばれる、巧みに操作されたモデル重みを用いて、勾配から個々の学習データを完全に抽出できる、計算的に効率的なデータ再構築攻撃を提示する。この攻撃は、1つのクラスしか含まない大規模なミニバッチに対しても機能し、検出可能性が低く、複雑な最適化を必要とせず、ほぼ完全な再構築が可能である（例：ImageNetでは50%、IMDBでは65%）。

ABSTRACT

In federated learning (FL), data does not leave personal devices when they are jointly training a machine learning model. Instead, these devices share gradients, parameters, or other model updates, with a central party (e.g., a company) coordinating the training. Because data never "leaves" personal devices, FL is often presented as privacy-preserving. Yet, recently it was shown that this protection is but a thin facade, as even a passive, honest-but-curious attacker observing gradients can reconstruct data of individual users contributing to the protocol. In this work, we show a novel data reconstruction attack which allows an active and dishonest central party to efficiently extract user data from the received gradients. While prior work on data reconstruction in FL relies on solving computationally expensive optimization problems or on making easily detectable modifications to the shared model's architecture or parameters, in our attack the central party makes inconspicuous changes to the shared model's weights before sending them out to the users. We call the modified weights of our attack trap weights. Our active attacker is able to recover user data perfectly, i.e., with zero error, even when this data stems from the same class. Recovery comes with near-zero costs: the attack requires no complex optimization objectives. Instead, our attacker exploits inherent data leakage from model gradients and simply amplifies this effect by maliciously altering the weights of the shared model through the trap weights. These specificities enable our attack to scale to fully-connected and convolutional deep neural networks trained with large mini-batches of data. For example, for the high-dimensional vision dataset ImageNet, we perfectly reconstruct more than 50% of the training data points from mini-batches as large as 100 data points.

研究の動機と目的

• データがデバイスから一切外出しないという主張にもかかわらず、フェデレーテッドラーニングにおける根本的なプライバシーの脆弱性を明らかにすること。
• 能動的かつ不正な中央機関が、モデル重みの操作を悪用することで、完全な忠実度で個人の学習データを抽出できることを実証すること。
• 大規模なミニバッチや多様なアーキテクチャにおいても、効率的でスケーラブルかつ検出不能な勾配からのデータ再構築を可能にする手法を開発すること。
• フェデレーテッドラーニングが本質的にユーザーのプライバシーを保護すると仮定することの誤りを挑戦すること、特に中央機関がモデル重みを制御している場合に特に重要である。
• バニラ型フェデレーテッドラーニングは意味のあるプライバシー保証を提供しないことから、FLに専用のプライバシー保護を統合するよう提言すること。

提案手法

• 攻撃は、共有モデル内の悪意ある重み変更（「トラップ重み」）を用い、モデル勾配に内在するデータ漏洩を強化する。
• トラップ重みは、モデルの重み行列の成分を再スケーリングすることで生成され、勾配に基づくデータ再構築における精密な制御を可能にする。
• 攻撃は、全結合層および畳み込み層の両方で使用される大規模なミニバッチにおける勾配が、しばしば学習済みのデータポイントを記憶しているという事実を利用している。
• 再構築は、複雑な最適化を避けるために、勾配を入力ドメインに単純に射影することで実行される。
• この手法は、ユーザーが複数回のローカル学習ラウンド（FedAvg）を実行しても有効であり、原始的な勾配だけでなく、モデル更新に対しても機能する。
• 重みの変更が目立たないため、攻撃は巧妙であり、モデルアーキテクチャの変更や検出可能なパrameterの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 悪意ある中央機関が、複雑な最適化や検出可能な変更なしに、勾長からプライベートな学習データを再構築できるか？
• RQ2 共有モデル重みが悪意的に初期化された場合、モデル勾長内のデータ漏洩はどの程度増大するか？
• RQ3 1つのクラスしか含まない大規模なミニバッチに対しても、完全な忠実度でデータ再構築が可能か？
• RQ4 トラップ重み手法は、全結合層および畳み込み層を含むさまざまなモデルアーキテクチャにどのようにスケーリングできるか？
• RQ5 重みの操作がフェデレーテッドラーニングにおけるプライバシーに与える影響は何か？また、必要な防御策は何か？

主な発見

• すべてのデータが同じクラスに属するミニバッチでさえ、ゼロの誤差で訓練データポイントを完全に再構築できる。
• ImageNetデータセットでは、サイズ100のミニバッチにおいて、50%以上の訓練データポイントがトラップ重み手法を用いて完全に再構築された。
• IMDBセンチメント分析などのテキストタスクでは、サイズ100のミニバッチにおいて65%以上のデータポイントが完全な忠実度で再構築された。
• 攻撃は計算的に効率的であり、複雑な最適化を必要とせず、勾長を入力ドメインに射影することで動作する。
• この手法は、原始的な勾長とFedAvgにおけるモデル更新の両方で機能し、標準的なフェデレーテッドラーニングプロトコルに広く適用可能であることを示している。
• 攻撃は非常に巧妙であり、トラップ重みの変更は目立たず、モデルアーキテクチャの変更も不要で、検出メカニズムをトリガーしない。