[論文レビュー] Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection

Yein Kim, Huili Chen+1 more|arXiv (Cornell University)|Feb 21, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

DifFense は、バックドア攻撃に対するフェデレーテッドラーニングのための画期的なバックドア防御フレームワークであり、差分テストを用いてモデル間の行動的差を拡大する悪意ある入力を生成し、2段階の MAD 外れ値検出を適用して不正な更新を同定する。攻撃パターンの事前知識がなくても、多様な攻撃シナリオ下でも、ほぼゼロの偽陰性率を達成し、バックドアの正解率を4%未満に低下させつつ、FedAvg と同等のグローバルモデルの正解率を維持する。

ABSTRACT

The goal of federated learning (FL) is to train one global model by aggregating model parameters updated independently on edge devices without accessing users' private data. However, FL is susceptible to backdoor attacks where a small fraction of malicious agents inject a targeted misclassification behavior in the global model by uploading polluted model updates to the server. In this work, we propose DifFense, an automated defense framework to protect an FL system from backdoor attacks by leveraging differential testing and two-step MAD outlier detection, without requiring any previous knowledge of attack scenarios or direct access to local model parameters. We empirically show that our detection method prevents a various number of potential attackers while consistently achieving the convergence of the global model comparable to that trained under federated averaging (FedAvg). We further corroborate the effectiveness and generalizability of our method against prior defense techniques, such as Multi-Krum and coordinate-wise median aggregation. Our detection method reduces the average backdoor accuracy of the global model to below 4% and achieves a false negative rate of zero.

研究の動機と目的

• 既存のフェデレーテッドラーニング防御の限界に対処する。特に、攻撃シナリオの事前知識が必須であるか、偽陽性/偽陰性率が高いという問題を解消する。
• 悪意あるクライアントが良性クライアントを上回るという最小限の仮定のもとで、一般化可能な防御機構を構築すること。
• ローカルモデルパラメータや重みにアクセスできない状況でも、バックドア攻撃を検出可能とし、暗号化やプライバシー保護型 FL システムとの互換性を高めること。
• モデル更新のフィルタリングにおける偽陽性率を低減しながら、すべての不正な更新を検出することにより、グローバルモデルの正解率を維持すること。
• 収束性と性能を、攻撃者数やデータ分布の変動に対しても安定させる、堅牢で自動化された防御フレームワークを提供すること。

提案手法

• 差分テストを用いて、クライアント間のモデル予測の差を顕著にする合成入力を生成し、ローカルモデル出力に基づく「テスト統計量」を生成する。
• これらの差分入力に対する予測差を計算することで、バックドア行動を示す異常を検出する。
• 2段階の MAD 外れ値検出を導入：第一段階で修正された MAD アルゴリズムが潜在的な外れ値を特定し、第二段階で精密なしきい値設定により偽陽性を低減する。
• フレームワークは集約の前段階で動作し、差分テスト応答における統計的乖離に基づいて不正な更新をフィルタリングする。
• モデルの重みや勾配にアクセスする必要がないため、暗号化された FL システムとも互換性がある。
• データ分布や攻撃パターンに依存しない設計となっており、非独立同分布（non-IID）かつ非対称な FL 環境においても一般化性を高めている。

実験結果

リサーチクエスチョン

• RQ1 攻撃パターンの事前知識やモデルパラメータへのアクセスがなくても、バックドア攻撃をフェデレーテッドラーニングで検出できる防御機構は存在するか？
• RQ2 差分テストは、良性モデルと悪意あるモデルの行動的差をバックドア検出のためにどれほど顕著に拡大できるか？
• RQ3 2段階の MAD 外れ値検出は、標準的な MAD 変種と比較して、FL 環境下で偽陽性率と偽陰性率を低減できるか？
• RQ4 攻撃者数が変化する状況下で、DifFense の性能は FedAvg、Multi-Krum、CooMed と比較してどの程度か？
• RQ5 差分画像の数やそのクラス分布は、検出精度とモデル収束に影響を与えるか？

主な発見

• DifFense はグローバルモデルの平均バックドア正解率を4%未満に低下させ、FedAvg や Multi-Krum、CooMed より顕著に優れた性能を示した。
• 全テストシナリオにおいて偽陰性率がゼロであり、すべての不正な更新が検出された。
• 平均偽陽性率が7%未満であるため、複数の攻撃者存在下でも、FedAvg と同等の高いグローバルモデル正解率を維持した。
• 2段階の MAD 外れ値検出は、偽陰性率ゼロを達成し、偽陽性率を7%未満に抑制した。これは、単一および二重 MAD 変種を上回る性能を発揮した。
• 差分画像の数やそのクラス数に関わらず、性能は安定しており、グローバル正解率は常に89%以上を維持した。
• 感度分析の結果、1つのクラスから得た20枚の差分画像でも、DifFense は偽陽性率を9%未満に保ち、偽陰性率はゼロを維持した。