[論文レビュー] RC-SSFL: Towards Robust and Communication-efficient Semi-supervised Federated Learning System.

Yi Liu, Xingliang Yuan+3 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用数 14

ひとこと要約

RC-SSFL は、ラベルなしクライントデータと限られたラベル付きサーバーデータのみを用いて高品質なグローバルモデルを学習し、ミニマックスクライアント選択と幾何学的中央値集約を用いてポisoning 攻撃に対しても耐性を持つ、耐障害性と通信効率性に優れた半教師付きフェデレーテッドラーニングシステムを提案する。通信コストを 2x–4x 削減したにもかかわらず、標準的な FL と同等の性能を達成する。

ABSTRACT

Federated Learning (FL) is an emerging decentralized artificial intelligence paradigm, which promises to train a shared global model in high-quality while protecting user data privacy. However, the current systems rely heavily on a strong assumption: all clients have a wealth of ground truth labeled data, which may not be always feasible in the real life. In this paper, we present a practical Robust, and Communication-efficient Semi-supervised FL (RC-SSFL) system design that can enable the clients to jointly learn a high-quality model that is comparable to typical FL's performance. In this setting, we assume that the client has only unlabeled data and the server has a limited amount of labeled data. Besides, we consider malicious clients can launch poisoning attacks to harm the performance of the global model. To solve this issue, RC-SSFL employs a minimax optimization-based client selection strategy to select the clients who hold high-quality updates and uses geometric median aggregation to robustly aggregate model updates. Furthermore, RC-SSFL implements a novel symmetric quantization method to greatly improve communication efficiency. Extensive case studies on two real-world datasets demonstrate that RC-SSFL can maintain the performance comparable to typical FL in the presence of poisoning attacks and reduce communication overhead by $2 imes \sim 4 imes $.

研究の動機と目的

• 標準的な FL がクライアントに多数のラベル付きデータを必要とするという実用的制約に対処し、クライアントにラベルなしデータのみ、サーバーに限られたラベル付きデータがある状況でも学習を可能にする。
• モデル集約中に悪意あるクライアントによるポisoning 攻撃に対して、システムの耐障害性を向上させる。
• モデル性能を損なわせることなく、フェデレーテッドラーニングにおける通信コストを低減する。
• 現実のデータ環境と脅威状況下でも高いモデル精度を維持できるシステムを設計する。

提案手法

• 高品質なモデル更新を寄与するクライアントを特定するために、ミニマックス最適化に基づくクライアント選択戦略を採用する。
• ポisoning 攻撃に対して耐性を持つモデル更新の統合のため、幾何学的中央値集約を用いる。
• モデル更新の圧縮と通信負荷の低減を図るために、新しい対称量子化手法を導入する。
• クライアントのラベルなしデータとサーバーの少数のラベル付きデータを用いて、半教師付き学習の原則を活用する。
• クライアント選択、耐障害的集約、通信効率の良い量子化を統合した包括的なフレームワークを設計する。
• クライアントが局所的に学習し、サーバーとモデル更新のみを交換する分散型 FL 環境で動作する。

実験結果

リサーチクエスチョン

• RQ1 クライアントにラベルなしデータ、サーバーに限られたラベル付きデータしかない状況で、フェデレーテッドラーニングシステムが標準的な FL と同等の性能を達成できるか？
• RQ2 半教師付き設定下で、悪意あるクライアントによるポisoning 攻撃に対して、フェデレーテッドラーニングシステムをどのようにして耐性を持たせられるか？
• RQ3 モデル精度を低下させることなく、半教師付き FL における通信効率をどの程度まで向上させられるか？
• RQ4 低ラベルデータ環境下で、耐障害性と性能の両立を最もよく果たすクライアント選択および集約戦略は何か？

主な発見

• クライアントにラベルなしデータが全くなく、サーバーに限られた数のラベル付きサンプルしかない状況でも、RC-SSFL は標準的な FL と同等のモデル性能を維持する。
• ミニマックスベースのクライアント選択と幾何学的中央値集約により、ポisoning 攻撃に対して効果的に防御され、グローバルモデルの整合性が保たれる。
• 提案された対称量子化手法により、通信負荷が 2x から 4x 削減される。
• 2 つの実世界データセットを用いた広範な実験により、RC-SSFL が攻撃的状況およびデータが乏しい状況下でも耐障害性と効率性を示すことが確認された。