[論文レビュー] Secure Federated Learning against Model Poisoning Attacks via Client Filtering

Duygu Nur Yaldiz, Tuo Zhang+1 more|arXiv (Cornell University)|Mar 31, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

この論文では、フェデレーテッドラーニングにおけるモデルポイズニング攻撃に対抗するためのクライアントフィルタリング防御であるCosDefenseを提案する。この手法は、グローバルモデルの最終層重みと各クライアントのローカル更新との間のコサイン類似度を計算することで、悪意のある更新を検出し除外する。検証データや攻撃者数の推定値、過去のクライアント記録を必要とせず、クライアントのサンプリングにも対応可能であり、データの非独立同分布（non-iid）性に対しても耐性がある。MNISTでは83.37%の高い性能を達成している。

ABSTRACT

Given the distributed nature, detecting and defending against the backdoor attack under federated learning (FL) systems is challenging. In this paper, we observe that the cosine similarity of the last layer's weight between the global model and each local update could be used effectively as an indicator of malicious model updates. Therefore, we propose CosDefense, a cosine-similarity-based attacker detection algorithm. Specifically, under CosDefense, the server calculates the cosine similarity score of the last layer's weight between the global model and each client update, labels malicious clients whose score is much higher than the average, and filters them out of the model aggregation in each round. Compared to existing defense schemes, CosDefense does not require any extra information besides the received model updates to operate and is compatible with client sampling. Experiment results on three real-world datasets demonstrate that CosDefense could provide robust performance under the state-of-the-art FL poisoning attack.

研究の動機と目的

• サーバーがクライアントの生データにアクセスできない状況において、フェデレーテッドラーニングにおけるモデルポイズニング攻撃の検出と防御を解決すること。
• 検証データや事前のクライアント記録、正確な攻撃者数の推定値を必要とする既存の防御手法の制限を克服すること。
• モデル更新のみを処理する軽量でサーバーサイドの防御を構築し、クライアントのサンプリングと互換性を持つこと。
• 現実のフェデレーテッドラーニング環境におけるデータの非独立同分布性やクライアントの非同一性に対し、耐性を高めること。
• 複雑な仮定や追加のインfra構築を必要としない実用的で導入可能な防御メカニズムを提供すること。

提案手法

• この手法は、グローバルモデルの最終層重みと各クライアントのローカル更新との間のコサイン類似度を計算することで、異常を検出する。
• 全クライアントの平均値よりも著しく高いコサイン類似度スコアを示すクライアントは、悪意ある可能性があるとマークされる。
• 各ラウンドにおける全クライアントの類似度スコアの平均値に基づいて、しきい値を動的に計算し、その値を超えるクライアントはフィルタリングされる。
• しきい値は、現在のラウンドにおける類似度スコアを最小最大正規化することで動的に算出される。
• しきい値未満の健全なクライアント（以下）のみが、FedAvgを用いてモデル集約に参加する。
• このアプローチはクライアントのサンプリングと互換性があり、履歴データや検証セットを必要としない。

実験結果

リサーチクエスチョン

• RQ1 グローバルモデルとローカルモデルの最終層重み間のコサイン類似度は、フェデレーテッドラーニングにおける悪意ある更新の検出に有効に機能するか？
• RQ2 本手法は、データの非独立同分布性やクライアントの非同一性が強い状況下でも効果を発揮するか？
• RQ3 検証データや事前のクライアント記録、正確な攻撃者数の推定値を一切必要とせずに、本防御が動作可能か？
• RQ4 モデルポイズニング攻撃下で、Krum や Clipping-Median といった既存のロバスト集約手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 実用的なフェデレーテッドラーニングシステムで用いられるクライアントのサンプリング戦略と、本防御は互換性を持つか？

主な発見

• 強力なポイズニング攻撃下でも、CosDefenseはMNISTで83.37%のテスト精度を達成し、防御なしのベースライン（9.8%）やKrum（9.8%）を大きく上回った。
• Fashion-MNISTでは、CosDefenseは67.63%の精度を達成し、防御なしのベースライン（10%）やClipping-Median（21.24%）を上回った。
• CIFAR-10では、CosDefenseは52.02%の精度を達成し、防御なしのベースライン（10%）やClipping-Median（20.89%）を上回った。
• 非独立同分布（non-iid）データ分割の程度が異なる状況（q = 0.1, 0.3, 0.5）においても、安定した性能を示し、データの非同一性に対して耐性があることが確認された。
• 検証データや攻撃者数の推定値、過去のクライアント記録を一切必要とせず、従来の手法とは異なり、高い性能を維持した。