[論文レビュー] User Label Leakage from Gradients in Federated Learning.

Aidmar Wainakh, Fabrizio Ventola+7 more|arXiv (Cornell University)|May 19, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 11

ひとこと要約

本稿では、フェデレーテッドラーニングにおける共有モデル勾配からユーザーのラベル情報を抽出する、新たな攻撃である勾配からのラベル漏洩（LLG）を提案する。この攻撃は勾配の方向と大きさを分析することで、学習の初期段階で高いラベル回復精度を達成しており、フェデレーテッドラーニングのプライバシー仮定にもかかわらず、勾配共有が感受性の高いラベルデータを漏洩させることを示している。

ABSTRACT

Federated learning enables multiple users to build a joint model by sharing their model updates (gradients), while their raw data remains local on their devices. In contrast to the common belief that this provides privacy benefits, we here add to the very recent results on privacy risks when sharing gradients. Specifically, we propose Label Leakage from Gradients (LLG), a novel attack to extract the labels of the users' training data from their shared gradients. The attack exploits the direction and magnitude of gradients to determine the presence or absence of any label. LLG is simple yet effective, capable of leaking potential sensitive information represented by labels, and scales well to arbitrary batch sizes and multiple classes. We empirically and mathematically demonstrate the validity of our attack under different settings. Moreover, empirical results show that LLG successfully extracts labels with high accuracy at the early stages of model training. We also discuss different defense mechanisms against such leakage. Our findings suggest that gradient compression is a practical technique to prevent our attack.

研究の動機と目的

• フェデレーテッドラーニングにおける共有勾配が、ユーザーのローカルデータの感受性の高いラベル情報を漏洩させるかどうかを調査すること。
• フェデレーテッドラーニングにおいて勾配共有がユーザーのプライバシーを保護するとされる一般的な仮定に挑戦すること。
• 勾配からラベル再構築のための実用的でスケーラブルな手法を開発すること。
• さまざまな学習条件やモデルアーキテクチャ下での攻撃の有効性を評価すること。
• 特に勾配圧縮を用いた防御メカニズムを検討すること。

提案手法

• LLGは、勾配の方向と大きさを分析することで、特定のラベルがユーザーの訓練データに存在するか否かを推定する。
• 複数の訓練ステップにわたる勾配更新の統計的パターンを用いて、ラベル分布を再構築する。
• 生データやモデルパラメータへのアクセスを必要とせず、共有勾配にのみ依存する。
• 任意のバッチサイズおよびマルチクラス分類タスクに効率的にスケーリング可能なように設計されている。
• 数学的分析と実験的評価を用いて、攻撃の実現可能性と精度を検証する。
• 勾配圧縮を、勾配内の情報漏洩を低減する防御メカニズムとして評価する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける共有勾配からラベル情報は再構築可能か？
• RQ2 モデル学習の異なる段階において、ラベル漏洩攻撃の精度はどの程度か？
• RQ3 この攻撃は大規模バッチサイズおよびマルチクラス設定にスケーリング可能か？
• RQ4 ラベル漏洩を可能にする勾配の主な特性は何か？
• RQ5 勾配圧縮は、モデル性能に悪影響を与えることなく、ラベル漏洩を効果的に防止できるか？

主な発見

• LLGは、フェデレーテッドモデル学習の初期段階において、高い精度でラベルを抽出することに成功した。
• 攻撃は生データへのアクセスがなくても、勾配の方向と大きさを活用してラベルの存在を推定できる。
• フェデレーテッドラーニングの設計目的がデータプライバシーの保護であるにもかかわらず、ラベル漏洩が発生している。
• 攻撃はさまざまなバッチサイズおよびマルチクラス分類タスクにわたり有効である。
• 勾配圧縮は、LLGに対する実用的で効果的な防御メカニズムであることが示された。
• 数学的および実験的分析により、ラベル漏洩攻撃の強固さとスケーラビリティが確認された。