[論文レビュー] Attack-Resistant Federated Learning with Residual-based Reweighting

Shuhao Fu, Chulin Xie+2 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用数 58

ひとこと要約

この論文は、ラベル反転やバックドア攻撃に対して頑健性を確保するため、非IID設定でIRLS風のウェイティングと反復中央値回帰を組み合わせた残差に基づく再重み付け集約を用いたフェデレーテッドラーニングの堅牢化を提案し、理論的保証を提供する。

ABSTRACT

Federated learning has a variety of applications in multiple domains by utilizing private training data stored on different devices. However, the aggregation process in federated learning is highly vulnerable to adversarial attacks so that the global model may behave abnormally under attacks. To tackle this challenge, we present a novel aggregation algorithm with residual-based reweighting to defend federated learning. Our aggregation algorithm combines repeated median regression with the reweighting scheme in iteratively reweighted least squares. Our experiments show that our aggregation algorithm outperforms other alternative algorithms in the presence of label-flipping and backdoor attacks. We also provide theoretical analysis for our aggregation algorithm.

研究の動機と目的

• 敵対的な攻撃と非IIDデータ下でのフェデレーテッドラーニングにおける堅牢な集約を動機付ける。
• 残差と頑健回帰を活用した攻撃耐性のある集約アルゴリズムを開発する。
• 提案手法の理論的解析とその頑健性保証を提供する。
• 複数のデータセットとタスク領域にわたる経験的頑健性を示す。

提案手法

• 各局所モデルが残差に基づいて決定されるウェイトを用いて頑健な回帰直線に寄与する再重み付け集約を使用する。
• 繰り返し中央値推定量を用いて局所モデル回帰の頑健な推定を行い、回帰直線 y = beta0 + beta1 x を得る。
• 残差を計算し、IRLS風のスケーリングで正規化してパラメータの信頼度スコアを導出する。
• パラメータ信頼度を集約して局所モデルにウェイトを割り当て、外れ値が支配するのを防ぐための極値補正を行う。
• 導出されたモデルウェイトを用いて局所モデルの加重和としてグローバルモデルを計算する。
• 汚染された参加者の下でグローバルモデル誤差が抑制されることを示す理論的境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 非IID設定において、残差ベースの再重み付け機構はラベル反転やバックドア攻撃に対するフェデレーテッドラーニングの頑健性を改善できるか？
• RQ2 頑健な回帰推定量（繰り返し中央値など）とIRLSに着想を得たウェイト付けが集約品質と攻撃耐性にどのように影響するか？
• RQ3 敵対的参加下で提案された攻撃耐性集約の理論的保証は何か？

主な発見

• 提案された集約は、非IIDフェデレーテッドラーニングにおいて攻撃モデルの影響を大幅に軽減します。
• FedAvg、座標-wise中央値、トリム平均、FoolsGold などのベースラインを、ラベル反転とバックドア攻撃の下でMNIST、CIFAR-10、Amazon Reviews、Lending Clubデータで上回ります。
• この手法は繰り返し中央値回帰と残差ベースの再重み付けを組み合わせてモデルの信頼度を割り当て、追加の参照データセットを必要とせず頑健性を向上させます。
• 理論解析は、汚染された参加者が存在する場合のグローバルモデル誤差の境界を提供します。
• 極値補正とモデル単位のウェイト付けにより、少数の悪意ある更新がグローバルモデルを支配するのを防ぎます。