[論文レビュー] Dynamic backdoor attacks against federated learning

Anbu Huang|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 13

ひとこと要約

本稿は、メタラーニングとバックドアインジェクションを統合することで、再トレーニングを最小限に抑えつつ、新たな攻撃ターゲットに迅速に適応できる、フェデレーテッドラーニングにおける動的バックドア攻撃のための最初のフレームワークを提案する。提案されたシミオシスネットワークは、MNISTで最大98.7％のバックドア成功率を達成しながらも、メインタスクの精度を高く維持しており、モデルアグリゲーションの制約下でも持続的かつ適応的な汚染を実現している。

ABSTRACT

Federated Learning (FL) is a new machine learning framework, which enables millions of participants to collaboratively train machine learning model without compromising data privacy and security. Due to the independence and confidentiality of each client, FL does not guarantee that all clients are honest by design, which makes it vulnerable to adversarial attack naturally. In this paper, we focus on dynamic backdoor attacks under FL setting, where the goal of the adversary is to reduce the performance of the model on targeted tasks while maintaining a good performance on the main task, current existing studies are mainly focused on static backdoor attacks, that is the poison pattern injected is unchanged, however, FL is an online learning framework, and adversarial targets can be changed dynamically by attacker, traditional algorithms require learning a new targeted task from scratch, which could be computationally expensive and require a large number of adversarial training examples, to avoid this, we bridge meta-learning and backdoor attacks under FL setting, in which case we can learn a versatile model from previous experiences, and fast adapting to new adversarial tasks with a few of examples. We evaluate our algorithm on different datasets, and demonstrate that our algorithm can achieve good results with respect to dynamic backdoor attacks. To the best of our knowledge, this is the first paper that focus on dynamic backdoor attacks research under FL setting.

研究の動機と目的

• フェデレーテッドラーニングにおける動的バックドア攻撃に関する研究の空白を埋めること、特に攻撃ターゲットが時間とともに変化する状況を想定する。
• フェデレーテッドラーニング環境下で、各新しい攻撃ターゲットに対して再トレーニングから再開する非効率性を克服すること。
• 悪意あるクライアントが過去の経験を活用して、新しいバックドアパターンに迅速に適応できる手法を開発すること。
• ターゲットバックドア攻撃を効果的に実行しつつ、メインタスクでの高いパフォーマンスを維持すること。

提案手法

• メタラーニングとフェデレーテッドアベレージを統合し、新しいバックドアタスクに迅速に適応できるようにする。
• 局所モデルが過去の攻撃エピソードから学び、新しいターゲットに一般化できるように、シミオシスネットワークを設計する。
• 方程式8に従うメタ最適化更新ルールを用い、クライントの更新に基づいてグローバルモデルパラメータを調整することで、適応速度を向上させる。
• 動的汚染パターン（例：テキスト「KDD」）をクライアントデータにインジェクションし、エピソードごとに変化させることで、現実世界の適応性を模擬する。
• 標準のフェデレーテッドラーニングフレームワークと互換性を保ちつつ、メタラーニングを統合するためにFedAvgアルゴリズムをわずかに変更する。
• ディリクレ分布を用いてクライアント間でデータを分割し、悪意あるクライアントに約12％のデータを汚染させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるバックドア攻撃を、再トレーニングなしに動的に変化する攻撃ターゲットに適応可能にする方法は何か？
• RQ2 メタラーニングを活用することで、最小限の例数でフェデレーテッドラーニングにおけるバックドアモデルの迅速な適応が可能になるか？
• RQ3 提案手法は、高いバックドア成功率を達成しつつも、メインタスクでのパフォーマンスをどのように維持するか？
• RQ4 モデルアグリゲーションはバックドアの持続性にどのような影響を与えるか？また、その影響をどのように軽減できるか？

主な発見

• シミオシスネットワークは、MNISTで最大98.7％のバックドア攻撃成功率を達成し、手動による汚染パターンインジェクションを大きく上回った。
• メタラーニングによる適応のおかげで、モデルアグリゲーションの下でもバックドア精度が安定的かつ持続的だった。
• メタラーニングアプローチは、FedAvgと同等のバックドアパフォーマンスを、はるかに少ないトレーニングラウンドで達成し、新しい攻撃パターンへの迅速な適応を示した。
• メインタスクの精度への影響は最小限であり、CIFAR-10では94％以上、Tiny ImageNetでは85％以上の精度を維持しており、巧妙性（ステルス性）が裏付けられた。
• エピソード2において、「KDD」テキストインジェクションなどの新しい汚染パターンに対しても、数回の更新で迅速に適応し、標準のFedAvgを上回る性能を示した。
• 理論的分析により、フレームワークが3つの核心的目標（持続性、適応性、メインタスク性能）を満たしていることが確認された。