[論文レビュー] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Federated Learning.

Virat Shejwalkar, Amir Houmansadr+2 more|arXiv (Cornell University)|Aug 23, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用数 11

ひとこと要約

本論文は現実的な脅威モデル下でのフェデレーテッドラーニングにおけるポisoning攻撃を批判的に評価し、FLがかつて考えられていたほど脆弱ではないことが実証された。本研究では実用的制約下で新たな最先端の攻撃を提案し、基本的な防御機構ですら攻撃効果を顕著に低下させることを示しており、学術文献における長年の仮定に疑問を呈している。

ABSTRACT

While recent works have indicated that federated learning (FL) is vulnerable to poisoning attacks by compromised clients, we show that these works make a number of unrealistic assumptions and arrive at somewhat misleading conclusions. For instance, they often use impractically high percentages of compromised clients or assume unrealistic capabilities for the adversary. We perform the first critical analysis of poisoning attacks under practical production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL, even without any defenses, is highly robust in practice. In fact, we go even further and propose novel, state-of-the-art poisoning attacks under two realistic threat models, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are, especially when simple defense mechanisms are used. We correct previous misconceptions and give concrete guidelines that we hope will encourage our community to conduct more accurate research in this space and build stronger (and more realistic) attacks and defenses.

研究の動機と目的

• フェデレーテッドラーニングがポISONING攻撃に対して極めて脆弱であるという広く信じられている認識に反論し、先行研究における誤った仮定を特定すること。
• 実用的なFL展開シナリオにおける現実的な脅威モデルおよび敵の能力を定義・分析すること。
• これらの現実的な条件下におけるポISONING攻撃の有効性を評価し、単純な防御メカニズムの影響を含めて検証すること。
• 文献における誤解を是正し、現実的な攻撃と防御に関する今後の研究に役立つ指針を提供すること。
• FLが防御を備えていなくても、現実的な攻撃シナリオ下で実際には強い耐性を示すことを実証すること。

提案手法

• 著者らは、限られたクライアントの改ざんと制限されたモデル操作能力を想定した現実的な脅威モデル下で、2つの新たなポISONING攻撃フレームワークを設計した。
• CIFAR-10, FEMNIST, Shakespeare などの3つのベンチマークデータセットを用いて、クライアント改ざん率や防御メカニズムの変動に応じた攻撃成功率を評価する広範な実験を実施した。
• モデルアveraging やロバストアグリゲーションといった一般的な防御メカニズムが攻撃効果に与える影響を体系的に評価した。
• 脅威モデルは、グローバルモデル更新へのアクセス制限やクライアントデータに対する制限付き制御といった、現実のFL展開における制約に基づいている。
• 実験的評価を通じて、異なるクライアント改ざん率とモデルアーキテクチャの下での攻撃性能を比較した。
• 敵対的トレーニング下での攻撃成功率、モデル精度の低下、収束挙動の測定を通じて、FLの耐性を分析した。

実験結果

リサーチクエスチョン

• RQ1 現実的な敵の能力と脅威モデルを考慮した場合、フェデレーテッドラーニングにおけるポISONING攻撃はどの程度有効であるか？
• RQ2 実用的なFL環境下で、改ざんクライアントの数が攻撃成功にどの程度影響を及えるか？
• RQ3 ロバストアグリゲーションやモデルアveraging といった単純な防御機構は、現実的な条件下でポISONING攻撃をどの程度緩和するか？
• RQ4 先行研究が攻撃効果を過大評価する原因となっている主な仮定は何か？
• RQ5 実用的制約下でも効果を発揮する新たな最先端のポISONING攻撃を開発できるか？

主な発見

• 現実的な脅威モデルを適用した場合、フェデレーテッドラーニングにおけるポISONING攻撃の有効性は、かつて報告された水準よりも著しく低い。
• 高い割合のクライアントが改ざんされていようとも（例：30％）、実用的制約下では攻撃成功率が著しく低下する。
• ロバストアグリゲーションなどの単純な防御機構は、複数のベンチマークデータセットで攻撃成功率を80％以上も低下させる。
• 本研究では、先行研究がしばしば不切実な仮定に依存していることが判明した。具体的には、クライアント更新の完全な制御や、モデルパラメータへの無制限アクセスといった仮定である。
• FLは、現実的な攻撃シナリオ下で、明示的な防御がなくても実際には強い本質的耐性を示す。
• 提案された新たな攻撃は、同じ現実的制約下でも、先行手法を上回る高い成功率を達成しており、実用的ポISONING攻撃における新たな最先端水準を確立した。