[論文レビュー] RFLPA: A Robust Federated Learning Framework against Poisoning Attacks with Secure Aggregation

Peihua Mai, Ran Yan+1 more|arXiv (Cornell University)|May 24, 2024

Internet Traffic Analysis and Secure E-voting被引用数 5

ひとこと要約

RFLPAは、フェデレーテッドラーニングにおける poisoning 攻撃に対して、セキュアな集計と強力なコサイン類似性ベースの集計、検証可能なパック済みシャミア秘密分散を組み合わせることで、防御し、精度を維持しつつ通信と計算を削減します。

ABSTRACT

Federated learning (FL) allows multiple devices to train a model collaboratively without sharing their data. Despite its benefits, FL is vulnerable to privacy leakage and poisoning attacks. To address the privacy concern, secure aggregation (SecAgg) is often used to obtain the aggregation of gradients on sever without inspecting individual user updates. Unfortunately, existing defense strategies against poisoning attacks rely on the analysis of local updates in plaintext, making them incompatible with SecAgg. To reconcile the conflicts, we propose a robust federated learning framework against poisoning attacks (RFLPA) based on SecAgg protocol. Our framework computes the cosine similarity between local updates and server updates to conduct robust aggregation. Furthermore, we leverage verifiable packed Shamir secret sharing to achieve reduced communication cost of $O(M+N)$ per user, and design a novel dot product aggregation algorithm to resolve the issue of increased information leakage. Our experimental results show that RFLPA significantly reduces communication and computation overhead by over $75\%$ compared to the state-of-the-art secret sharing method, BREA, while maintaining competitive accuracy.

研究の動機と目的

• SecAgg を用いたフェデレーテッドラーニングにおけるプライバシーと poisoning ロバスト性の確保。
• 高次元モデル向けに通信および計算オーバーヘッドを制限するスケーラブルなフレームワークを開発。
• 勾配プライバシーを保護しつつ、コサイン類似度に基づく堅牢な集約規則を提供。
• パック済み秘密分散による情報漏えいを緩和するためのドット積集約プロトコルを提案。
• サーバー介在型ネットワークにおけるクライアント間通信の機密性と完全性を保証。

提案手法

• 局所更新とサーバ更新のコサイン類似度を計算するために、検証可能なパック済みシャミア秘密分散と SecAgg を活用。
• サーバ更新に対して局所勾配を正規化し、有限体演算のために量子化。
• コサイン類似度に基づく信頼度スコアを用いて更新を堅牢に集約。
• サーバには最終的なドット積の値だけを開示するドット積集約プロトコルを導入、情報漏えいを制限。
• メッセージの機密性と完全性を保つために、サーバー介在通信で暗号化とデジタル署名を使用。
• 収束解析と複雑さの比較を提供し、1人あたりの通信を O(M+N) に低減し、サーバ計算を O((M+N) log^2 N log log N) と示す。

実験結果

リサーチクエスチョン

• RQ1 SecAgg ベースのフェデレーテッドラーニングを poisoning 攻撃から防御できるか？（平文の局所更新を開示せず）
• RQ2 提案された RFLPA フレームワークは、 poisoning 下で競争力のある精度を維持しつつ通信と計算コストを削減できるか？
• RQ3 パック済み秘密分散をどのように利用して、勾配情報を漏らさずに堅牢な集約指標を効率的に計算できるか？
• RQ4 サーバー介在型モデルにおいて、相互間通信の信頼性・プライバシー・完全性をどのような仕組みで保証するか？
• RQ5 任意数の悪質クライアント下での収束に関する理論的保証は何か？

主な発見

方法	MNIST（攻撃なし）	MNIST（10%）	MNIST（20%）	MNIST（30%）	F-MNIST（攻撃なし）	F-MNIST（10%）	F-MNIST（20%）	F-MNIST（30%）	CIFAR-10（攻撃なし）	CIFAR-10（10%）	CIFAR-10（20%）	CIFAR-10（30%）
FedAvg	0.98 ± 0.0	0.46 ± 0.1	0.40 ± 0.1	0.32 ± 0.0	0.88 ± 0.0	0.55 ± 0.0	0.51 ± 0.0	0.45 ± 0.1	0.76 ± 0.3	0.14 ± 0.2	0.13 ± 0.8
Bulyan	0.98 ± 0.0	0.92 ± 0.0	0.89 ± 0.0	0.87 ± 0.0	0.86 ± 0.0	0.73 ± 0.0	0.71 ± 0.0	0.69 ± 0.0	0.77 ± 1.0	0.73 ± 0.0	0.45 ± 1.2	0.27 ± 0.6
Trim-Mean	0.98 ± 0.0	0.95 ± 0.0	0.93 ± 0.0	0.91 ± 0.0	0.98 ± 0.0	0.95 ± 0.0	0.92 ± 0.0	0.90 ± 0.0	0.76 ± 1.0	0.57 ± 2.1	0.51 ± 1.1	0.47 ± 2.2
LDP	0.87 ± 0.1	0.13 ± 0.0	0.10 ± 0.0	0.10 ± 0.0	0.87 ± 0.1	0.87 ± 0.3	0.83 ± 1.2	0.77 ± 2.1	0.14 ± 0.2	0.14 ± 0.2	0.12 ± 0.3	0.12 ± 0.1
CDP	0.96 ± 0.0	0.96 ± 0.0	0.95 ± 0.0	0.94 ± 0.0	0.96 ± 0.0	0.96 ± 0.0	0.95 ± 0.3	0.91 ± 2.0	0.71 ± 1.2	0.12 ± 0.5	0.12 ± 0.3	0.12 ± 0.3
BREA	0.94 ± 0.0	0.93 ± 0.0	0.93 ± 0.0	0.93 ± 0.0	0.94 ± 0.0	0.94 ± 0.0	0.93 ± 0.0	0.93 ± 0.0	0.70 ± 1.0	0.69 ± 1.1	0.68 ± 1.9	0.68 ± 2.7
RFLPA	0.74 ± 2.3	0.70 ± 1.8	0.70 ± 1.9	0.69 ± 1.8	0.74 ± 2.3	0.70 ± 1.7	0.70 ± 0.8	0.69 ± 0.8	0.70 ± 1.9	0.69 ± 0.8	0.69 ± 0.8	0.69 ± 0.8

• RFLPA は類似スキームでの各ユーザーあたりの通信を O(MN+N) から O(M+N) に削減。
• サーバ側の計算はパック済み秘密分散と効率的な集約により O((M+N) log^2 N log log N) に削減。
• RFLPA は MNIST、Fashion-MNIST、CIFAR-10 で最大 30% の poisoning 攻撃者に対して競争力のある精度を達成し、非攻撃時の精度低下は FedAvg と比べて控えめ。
• 提案されたドット積集約プロトコルは、最終的なドット積のみをサーバに開示することで情報漏えいを制限。
• 実験では、類似の FL 設定下で BREA ベースラインと比較して通信コストを75%以上、計算コストを80%以上削減。
• セキュリティ分析は、サーバがグローバル勾配と信頼スコアのみを学習し、アクティブな敵対者に対してはシミュレーションベースのセキュリティを有することを証明。