[論文レビュー] Secure Aggregation with Heterogeneous Quantization in Federated Learning

Ahmed Roushdy Elkordy, Amir Salman Avestimehr|arXiv (Cornell University)|Sep 30, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用数 16

ひとこと要約

HeteroSAgは、ユーザーの通信リソースに応じて量子化レベルを調整できる非均一量子化を可能にするフェデレーテッドラーニングにおける安全な集約フレームワークを提案する。ユーザーをグループ化し、加法的マスクを用いた協調的・セグメント別集約を適用することで、優れた精度-遅延トレードオフを達成し、座標ごとの中央値を用いた同時 Byzantine に強い性能を実現。これは均一量子化や標準的な安全集約プロトコルを上回る。

ABSTRACT

Secure model aggregation across many users is a key component of federated learning systems. The state-of-the-art protocols for secure model aggregation, which are based on additive masking, require all users to quantize their model updates to the same level of quantization. This severely degrades their performance due to lack of adaptation to available bandwidth at different users. We propose three schemes that allow secure model aggregation while using heterogeneous quantization. This enables the users to adjust their quantization proportional to their available bandwidth, which can provide a substantially better trade-off between the accuracy of training and the communication time. The proposed schemes are based on a grouping strategy by partitioning the network into groups, and partitioning the local model updates of users into segments. Instead of applying aggregation protocol to the entire local model update vector, it is applied on segments with specific coordination between users. We theoretically evaluate the quantization error for our schemes, and also demonstrate how our schemes can be utilized to overcome Byzantine users.

研究の動機と目的

• 最新の安全集約プロトコルにおける均一量子化が引き起こす性能劣化を是正すること。これは、ユーザーの通信リソースに応じた適応が行われないためである。
• ユーザーが利用可能な帯域幅や送信レートに応じて、個別に量子化レベルを選択できる安全な集約方式を設計すること。
• ユーザーのプライバシーおよび通信効率を損なわずに、安全集約フレームワークに Byzantine に強い性能を統合すること。
• 非 Byzantine 環境下における非均一量子化の下で、提案手法の理論的収束保証を確立すること。
• 各ユーザーごとに適応的量子化を可能にすることで、既存の安全集約プロトコルの帯域幅拡張を低減すること。

提案手法

• 通信能力に応じてユーザーをグループ化し、各グループがモデル更新に対して協調的・セグメント別集約を実行する。
• 送信前に、各ユーザーの量子化済みモデル更新セグメントにペアワイズの乱数鍵を用いた加法的マスクを適用してプライバシーを確保する。
• 各グループがセグメントごとに安全集約を実行するグループ化戦略を採用し、サーバーが協調的復号により全モデル集約を再構築する。
• 座標ごとの中央値を統合的集約ルールとして用い、悪意あるユーザーの更新をフィルタリングしながらプライバシーを維持する。
• 低帯域幅グループのユーザーは粗い量子化を、高帯域幅ユーザーは細かい量子化を用いることで、精度-通信トレードオフを最適化するプロトコルを設計する。
• 量子化ノイズが勾配更新に与える影響を分析することで、非均一量子化下でのアルゴリズム収束を理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの通信リソースに応じて異なる量子化レベルを使用できる状況で、安全集約を達成できるか？
• RQ2 非均一量子化は、均一量子化と比較して、フェデレーテッドラーニングの収束性とテスト精度にどのように影響を与えるか？
• RQ3 非均一量子化環境下で、安全集約と同時に Byzantine に強い性能を達成できるか？
• RQ4 ユーザーのグループ化とセグメント別集約は、通信効率とモデル精度にどのような影響を与えるか？
• RQ5 さまざまなネットワーク条件下で、HeteroSAgの帯域幅拡張は、最新の安全集約プロトコルと比較してどの程度か？

主な発見

• HeteroSAg における非均一量子化は、MNIST データセットで非量子化ベースライン（FedAvg）に近いテスト精度を達成し、合計通信時間を 5.2× 減少させた。
• HeteroSAg における非均一量子化は、K=2 レベルの均一量子化と比較して、同じ通信時間で 15% 以上のテスト精度向上を達成した。
• Gaussian 攻撃、符号反転攻撃、ラベル反転攻撃の3種類の攻撃に対して、HeteroSAg は悪意ある状況でも良性状況とほぼ同等の性能を示した。これに対して FedAvg は同様の攻撃で失敗した。
• HeteroSAg は、プライバシー保護と Byzantine に強い性能を同時に実現した。これに対して SecAg はプライバシー保護のみ、座標ごとの中央値はロバストネスのみを提供する。
• 各ユーザーごとの適応的量子化を可能にすることで、最新の安全集約プロトコルの帯域幅拡張を低減し、精度-通信トレードオフを改善した。
• 非 Byzantine 状況下での非均一量子化において、HeteroSAg の収束が理論的に保証されており、その安定性が裏付けられた。