[論文レビュー] Byzantine-Resilient Secure Federated Learning

Jinhyun So, Başak Güler+1 more|arXiv (Cornell University)|Jul 21, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用数 10

ひとこと要約

本稿では、悪意あるユーザーに対するモデルの耐性とユーザーのプライバシーを、検証可能鍵共有、確率的量子化、および安全な外れ値検出を用いて同時に確保する、単一サーバー型のByzantine耐性セキュアアグリゲーションフレームワークBREAを提案する。30%までのByzantineユーザーが存在する状況でも、標準的なフェデレーテッドラーニングと同等の収束性を達成しており、プライバシーおよび収束性に関する理論的保証を有する。

ABSTRACT

Secure federated learning is a privacy-preserving framework to improve machine learning models by training over large volumes of data collected by mobile users. This is achieved through an iterative process where, at each iteration, users update a global model using their local datasets. Each user then masks its local model via random keys, and the masked models are aggregated at a central server to compute the global model for the next iteration. As the local models are protected by random masks, the server cannot observe their true values. This presents a major challenge for the resilience of the model against adversarial (Byzantine) users, who can manipulate the global model by modifying their local models or datasets. Towards addressing this challenge, this paper presents the first single-server Byzantine-resilient secure aggregation framework (BREA) for secure federated learning. BREA is based on an integrated stochastic quantization, verifiable outlier detection, and secure model aggregation approach to guarantee Byzantine-resilience, privacy, and convergence simultaneously. We provide theoretical convergence and privacy guarantees and characterize the fundamental trade-offs in terms of the network size, user dropouts, and privacy protection. Our experiments demonstrate convergence in the presence of Byzantine users, and comparable accuracy to conventional federated learning benchmarks.

研究の動機と目的

• フェデレーテッドラーニングにおけるByzantine耐性とユーザーのプライバシーという、対立する要件を調和させること。
• サーバーに対して個々のモデル更新を保護しつつ、悪意ある更新の検出を可能にする単一サーバー型フレームワークを設計すること。
• 敵対的状況およびユーザーの離脱が発生する条件下でも、理論的収束性およびプライバシー保証を提供すること。
• 非i.i.d.データ分布が存在する状況でも、最大A人のByzantineユーザーとN−A人の誠実なユーザーが存在する状況で、耐障害性のある学習を可能にすること。
• ネットワークサイズ、ユーザーの離脱、プライバシー保護の間の根本的トレードオフを特定すること。

提案手法

• BREAは、実数値のモデル更新を有限体にマッピングするための確率的量子化を用い、安全な計算を可能にする。
• 各ユーザーは、ペアワイズのランダム鍵を用いて、量子化された局所的更新を検証可能鍵共有する。
• サーバーは、秘密共有のペアワイズ距離を平文で計算し、幾何学的中央値に基づく外れ値検出を実行する。
• 外れ値検出は、一貫性を保証し、改ざんを防止する検証可能なプロトコルを介して安全に実施される。
• 悪意ある更新が削除された後のみ、最終的なグローバルモデルが再構築されるため、個々の寄与のプライバシーが保持される。
• フレームワークは、安全なアグリゲーションと耐障害勾配降下法を統合し、敵対的状況下でも収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 単一サーバー型フェデレーテッドラーニングシステムは、同時にByzantine耐性と強力なユーザーのプライバシーを達成できるか？
• RQ2 個々のモデル更新がサーバーに露呈されない状況で、安全なアグリゲーションと外れ値検出をどのように統合できるか？
• RQ3 耐えられるByzantineユーザー数、ユーザーの離脱、プライバシー保護の間の根本的トレードオフは何か？
• RQ4 非i.i.d.データ分布および異なるレベルの敵対的影響下で、システムの性能はどのようになるか？
• RQ5 敵対的状況下でも、標準的なフェデレーテッドラーニングと同等の収束性と精度をフレームワークが維持できるか？

主な発見

• MNISTでは、非i.i.d.データ下で20%のユーザーがByzantineであっても、BREAはFedAvgと同等のテスト精度を達成する。
• CIFAR-10では、30%のByzantineユーザーが存在する状況でも、BREAは悪意あるユーザーが存在しない場合と同等の精度を維持する。
• 有界な量子化誤差を伴う確率的勾配降下法下で、理論的収束保証が得られる。
• 平文での幾何学的中央値に基づく外れ値検出は、安全な座標単位中央値プロトコルよりも通信効率が良い。
• 確率的量子化によりモデル更新の分散が低減され、量子化パラメータqが大きくなるほど性能が向上する。
• システムは最大A人のByzantineユーザーとN−A人の誠実なユーザーを耐えられ、加法的鍵共有と検証可能一貫性チェックによりプライバシーが保護される。