[論文レビュー] Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure Federated Learning

Jinhyun So, Başak Güler+1 more|arXiv (Cornell University)|Feb 11, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 31

ひとこと要約

Turbo-Aggregate は、連合学習における安全な集約のオーバーヘッドを O(N^2) から O(N log N) に削減し、50% のドロップアウトに対するロバスト性と、最大 200 ユーザーまでで最大 40 倍の高速化を実現します。

ABSTRACT

Federated learning is a distributed framework for training machine learning models over the data residing at mobile devices, while protecting the privacy of individual users. A major bottleneck in scaling federated learning to a large number of users is the overhead of secure model aggregation across many users. In particular, the overhead of the state-of-the-art protocols for secure model aggregation grows quadratically with the number of users. In this paper, we propose the first secure aggregation framework, named Turbo-Aggregate, that in a network with $N$ users achieves a secure aggregation overhead of $O(N\log{N})$, as opposed to $O(N^2)$, while tolerating up to a user dropout rate of $50\%$. Turbo-Aggregate employs a multi-group circular strategy for efficient model aggregation, and leverages additive secret sharing and novel coding techniques for injecting aggregation redundancy in order to handle user dropouts while guaranteeing user privacy. We experimentally demonstrate that Turbo-Aggregate achieves a total running time that grows almost linear in the number of users, and provides up to $40 imes$ speedup over the state-of-the-art protocols with up to $N=200$ users. Our experiments also demonstrate the impact of model size and bandwidth on the performance of Turbo-Aggregate.

研究の動機と目的

• 多数のユーザーを含むフェデレーテッドラーニングにおけるスケーラブルな安全な集約の必要性を動機づける。
• オーバーヘッドを二次からほぼ線形の N に削減する集約フレームワークを提案する。
• 強い共謀とドロップアウトのシナリオ下で個々の更新のプライバシーを保証する。
• 精度を維持しつつ最大 50% のユーザードロップアウトに対するロバスト性を実証する。
• 性能を経験的に評価し、実質的な高速化と帯域幅感度を示す。

提案手法

• ユーザーを L 群に分割して段階的な集約を行う multi-group circular aggregation 構造を導入する。
• 個別モデルをマスクし、共同謀議するサーバー/ユーザーに対するプライバシーを保護するために加法的秘密共有を使用する。
• Lagrange coding を組み込み、集約の冗長性を注入し、ドロップアウト時に多項式補間によって回復を可能にする。
• 集中型および分散型（ピアツーピア）通信アーキテクチャの双方をサポートする。
• 集約オーバーヘッド、ドロップアウト耐性、プライバシー保証の形式的分析を提供する。
• N=200 ユーザーまでの実験評価を示し、ほぼ線形の実行時間と最新技術に対する最大 40× の高速化を示す。

実験結果

リサーチクエスチョン

• RQ1 プライバシーを損なうことなく、セキュアなフェデレーテッドラーニングの集約オーバーヘッドを O(N^2) から O(N log N) に削減できるか？
• RQ2 スケーラブルな安全な集約プロトコルにおいて、ドロップアウト耐性と共謀耐性のレベルはどの程度達成可能か？
• RQ3 加法的秘密共有と符号化技術は、ユーザーのドロップアウトがある状況下でどのように信頼性の高い集約を実現できるか？
• RQ4 集中型および分散型の通信アーキテクチャは、同じプライバシーと性能保証を持つ Turbo-Aggregate をサポートするか？
• RQ5 現実的な N（数百まで）での Turbo-Aggregate の実用的な性能影響（実行時間、帯域幅感度など）はどの程度か？

主な発見

• 集約オーバーヘッドは O(N log N) となり、通信/計算コストを大幅に削減します。
• プロトコルは、段階を経て高い確率で最大 50% のユーザードロップアウトを耐える。
• 共謀があっても個々の更新に対する情報理論的強いプライバシーを T = N/2 まで守る。
• Amazon EC2 での実験結果は、N とともにほぼ線形の実行時間を示し、N = 200 に対して従来技術より最大 40× の高速化を示す。
• 帯域幅の制約は性能に影響を与えるが、帯域幅が制限された場合でも Turbo-Aggregate はなお大きな利得を維持する。