[論文レビュー] FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping

Xiaoyu Cao, Minghong Fang+2 more|arXiv (Cornell University)|Dec 27, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 35

ひとこと要約

FLTrustは、小さくクリーンなルートデータセットとサーバーモデルを用いて、バイゼンティン-ローカルモデル汚染攻撃から防御し、クライアント側の変更を最小限に抑えつつ信頼をブーストすることで、フェデレーテッドラーニングの信頼性をブートストラップします。

ABSTRACT

Byzantine-robust federated learning aims to enable a service provider to learn an accurate global model when a bounded number of clients are malicious. The key idea of existing Byzantine-robust federated learning methods is that the service provider performs statistical analysis among the clients' local model updates and removes suspicious ones, before aggregating them to update the global model. However, malicious clients can still corrupt the global models in these methods via sending carefully crafted local model updates to the service provider. The fundamental reason is that there is no root of trust in existing federated learning methods. In this work, we bridge the gap via proposing FLTrust, a new federated learning method in which the service provider itself bootstraps trust. In particular, the service provider itself collects a clean small training dataset (called root dataset) for the learning task and the service provider maintains a model (called server model) based on it to bootstrap trust. In each iteration, the service provider first assigns a trust score to each local model update from the clients, where a local model update has a lower trust score if its direction deviates more from the direction of the server model update. Then, the service provider normalizes the magnitudes of the local model updates such that they lie in the same hyper-sphere as the server model update in the vector space. Our normalization limits the impact of malicious local model updates with large magnitudes. Finally, the service provider computes the average of the normalized local model updates weighted by their trust scores as a global model update, which is used to update the global model. Our extensive evaluations on six datasets from different domains show that our FLTrust is secure against both existing attacks and strong adaptive attacks.

研究の動機と目的

• 一部のクライアントが悪意を持つ可能性がある場合の、バイゼンティン耐性を備えたフェデレーテッドラーニングを動機付ける。
• サーバーが管理するクリーンなルートデータセットを活用する信頼ブートストラッピング機構を導入する。
• 更新方向と更新量の両方を考慮する堅牢な集約ルールを設計する。
• 複数のデータセットに対して、標準および適応型汚染攻撃に対するFLTrustを評価する。
• FedAvgおよび既存のバイゼンティン耐性手法と比較した忠実度、頑健性、効率を評価する。

提案手法

• サーバーは小さなクリーンなルートデータセットと、それを用いて訓練されたサーバーモデルを維持する。
• クライアントは標準FLと同様に局所モデル更新を計算するが、それはサーバー主導の信頼信号に対して評価される。
• 信頼スコアは、局所更新とサーバー更新との間のReLUクリップ付きコサイン類似度に基づく。
• 局所更新は、汚染影響を制限するためにサーバー更新と同じノルムに振幅正規化される。
• グローバル更新は、正規化された局所更新の信頼スコアで重み付けされた加重平均と、サーバーモデル更新の考慮を加えたもの。
• このアプローチは、更新の方向と大きさの両方を集約に組み込み、攻撃に対して防御する。

実験結果

リサーチクエスチョン

• RQ1 サーバーに固定されたルートデータセットは、フェデレーテッドラーニングにおけるバイゼンティンなクライアントに対する頑健性をどのように向上させるか？
• RQ2 攻撃なしでもFedAvgと同等の精度（忠実度）を維持しつつ、攻撃時には頑健性を提供するか？
• RQ3 FLTrustは、その集約ルールを目的とした適応型局所モデル汚染攻撃に対して防御できるか？
• RQ4 ルートデータセットのサイズと分布がFLTrustの性能に与える影響は何か？
• RQ5 多様なタスクにおいて、FLTrustの防御は既存のバイゼンティン耐性手法（例: Krum、Trimmed Mean、Median）とどのように比較されるか？

主な発見

• FLTrustは、ルートデータセットが100例未満であっても、六つのデータセット全体で既存の汚染攻撃に対して安全性を保つ。
• 40-60%の悪質クライアントを伴う適応攻撃下で、MNIST-0.1に対するCNNグローバルモデル精度は、攻撃なしのFedAvgと同程度を達成する。
• 報告された実験で、Krum・Trimmed Mean・Medianと比較してFLTrustは頑健性が改善されている。
• MNIST-0.1に対してFLTrustで訓練されたCNNグローバルモデルは、すべての評価攻撃下でテスト誤差率0.04を達成する。
• Krumはその攻撃変種の下でテスト誤差率を0.10から0.90へ引き上げる可能性があることを示し、FLTrustの相対的な耐性を示している。
• 攻撃なしの下でも、敵対的クライアントに直面しても、FLTrustはFedAvgに近い性能を維持できる。