[論文レビュー] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning

Virat Shejwalkar, Amir Houmansadr+2 more|arXiv (Cornell University)|Aug 23, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この論文は、実用的なフェデレーテッドラーニング（FL）における標的外れのポisons攻撃を批判的に評価し、実際の脅威モデル下でもFLが極めて頑健であることを示している。3つのベンチマークを用いた広範な実験を通じて、FedAvgのような単純な防御が最先端の攻撃を顕著に緩和することを示しており、FLの脆弱性に関する従来の仮定に疑問を呈するとともに、FLの頑健性に関するより実用的な研究の推進を提言している。

ABSTRACT

While recent works have indicated that federated learning (FL) may be vulnerable to poisoning attacks by compromised clients, their real impact on production FL systems is not fully understood. In this work, we aim to develop a comprehensive systemization for poisoning attacks on FL by enumerating all possible threat models, variations of poisoning, and adversary capabilities. We specifically put our focus on untargeted poisoning attacks, as we argue that they are significantly relevant to production FL deployments. We present a critical analysis of untargeted poisoning attacks under practical, production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL is highly robust in practice even when using simple, low-cost defenses. We go even further and propose novel, state-of-the-art data and model poisoning attacks, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are in the presence of simple defense mechanisms. We aim to correct previous misconceptions and offer concrete guidelines to conduct more accurate (and more realistic) research on this topic.

研究の動機と目的

• 実際の脅威モデルを分析することで、標的外れのポisons攻撃がフェデレーテッドラーニングに与える実世界への影響を再評価すること。
• FLがポisons攻撃に対して極めて脆弱であるという一般的な信念に反論し、現実的な条件下でのFLの頑健性を示すこと。
• 敵の目的、知識、能力に基づいて、FLポisons攻撃の脅威モデルを体系化すること。
• 実用的環境下で、シンプルな防御を用いた状況下における最先端のデータおよびモデルポisons攻撃の有効性を評価すること。
• 理論的仮定を越えて、将来的なFLの頑健性に関する研究に向けた具体的かつ実用的なガイドラインを提供すること。

提案手法

• 敵の目的、知識、能力の3つの次元を用いて、ポisons攻撃の脅威モデルを体系的に分類すること。
• 実務的に関連性の高い2つの脅威モデルに焦点を当てる：ノーボックス・オフラインデータポisons攻撃とホワイトボックス・オンラインモデルポisons攻撃。
• 実用的なFL環境に適合した、新規かつ最先端の標的外れのデータおよびモデルポisons攻撃を設計すること。
• さまざまなクライアント参加率や現実的なクライアントの不正利用率を想定した、現実的な条件下で攻撃を実装・評価すること。
• 標準的な集約ルール（例：FedAvg）を用い、クリーンラベルおよびバックドア型のデータポisons攻撃下での頑健性を評価すること。
• クロスデバイスおよびクロスシロのFL設定下で、3つのベンチマークデータセット（CIFAR-10、FEMNIST、Shakespeare）を用いた広範な実験を実施すること。

実験結果

リサーチクエスチョン

• RQ1 シンプルな防御を用いた現実的な生産フェデレーテッドラーニング環境下で、標的外れのポisons攻撃はどの程度有効であるか？
• RQ2 実世界の展開において、どのFLポisons攻撃の脅威モデルが実用的か？
• RQ3 FedAvgのような標準的な集約ルールは、生産環境下でポisons攻撃の影響をどの程度軽減できるか？
• RQ4 クライアント参加の多様性およびクライアント不正利用率は、ポisons攻撃の成功にどのように影響するか？
• RQ5 既存の理論的頑健性保証は、実世界のFLシステムに適用する際にどのような限界を有するか？

主な発見

• 標的外れのポisons攻撃は、最先端の攻撃技術を用いても、生産FL環境ではほとんど効果を示さない。
• FedAvgのような単純な防御が強く頑健な効果を発揮し、評価されたすべてのベンチマークで攻撃成功率がほぼゼロにまで低下する。
• クロスシロFLでは、1%のクライアントが不正利用されても、健全なクライアントの数が多いことから、データポisons攻撃の影響は無視できるほど小さい。
• クライアントの不正利用がシロに集中している場合でも、集約の平均化効果により攻撃成功率が顕著に上昇しない。
• 企業インフラへの長期間にわたる恒久的アクセスを必要とするモデルポisons攻撃は、クロスシロFLでは現実的ではない。
• Gboardのような大規模システムでは、25%のクライアントが不正利用されると仮定する文献の仮定は現実的ではなく、これは2億5千万台のデバイスを制御するのを意味する。