[論文レビュー] LightSecAgg: Rethinking Secure Aggregation in Federated Learning

Chien-Sheng Yang, Jinhyun So+4 more|arXiv (Cornell University)|Sep 29, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用数 14

ひとこと要約

LightSecAgg は、参加ユーザーのマスクを直接再構築することで、ドロップアウトに強く、効率的なモデル集約を可能にするフェデレーテッドラーニングの新しいセキュアアグリゲーションプロトコルを提案する。ベースラインと比較して最大12.7倍速く学習を実現しながらも、強力なプライバシー保護と耐障害性を維持する。

ABSTRACT

Secure model aggregation is a key component of federated learning (FL) that aims at protecting the privacy of each user's individual model, while allowing their global aggregation. It can be applied to any aggregation-based approaches, including algorithms for training a global model, as well as personalized FL frameworks. Model aggregation needs to also be resilient to likely user dropouts in FL system, making its design substantially more complex. State-of-the-art secure aggregation protocols essentially rely on secret sharing of the random-seeds that are used for mask generations at the users, in order to enable the reconstruction and cancellation of those belonging to dropped The complexity of such approaches, however, grows substantially with the number of dropped We propose a new approach, named LightSecAgg, to overcome this bottleneck by turning the focus from random-seed reconstruction of the dropped to one-shot aggregate-mask reconstruction of the active users. More specifically, in LightSecAgg each user protects its local model by generating a single random mask. This mask is then encoded and shared to other users, in such a way that the aggregate-mask of any sufficiently large set of active users can be reconstructed directly at the server via encoded masks. We show that LightSecAgg achieves the same privacy and dropout-resiliency guarantees as the state-of-the-art protocols, while significantly reducing the overhead for resiliency to dropped Furthermore, our system optimization helps to hide the runtime cost of offline processing by parallelizing it with model training. We evaluate LightSecAgg via extensive experiments for training diverse models on various datasets in a realistic FL system, and demonstrate that LightSecAgg significantly reduces the total training time, achieving a performance gain of up to $12.7 imes$ over baselines.

研究の動機と目的

• ユーザーのドロップアウトに伴いスケーリングが著しく劣化する既存のセキュアアグリゲーションプロトコルにおける高い計算および通信オーバーヘッドを解消すること。
• トレーニング中にユーザーがドロップアウトしても、強力なプライバシー保護とドロップアウト耐性を維持すること。
• ドロップアウトユーザーのランダムシードを再構築するのではなく、参加ユーザーのマスクから直接集約マスクを再構築することで、セキュアアグリゲーションのランタイムコストを削減すること。
• オフライン処理をモデル学習と並列化することで、レイテンシを隠蔽し、システムのパフォーマンスを最適化すること。
• 頻繁にユーザーがドロップアウトする現実的で動的なFL環境において、セキュアアグリゲーションを効率的に展開できること。

提案手法

• 各ユーザーは、ローカルモデルを保護するために1つのランダムマスクを生成し、それをサーバーに送信する。
• ユーザーは、十分に大きな参加ユーザーのサブセットが共同でサーバーで集約マスクを再構築できるように、秘密分散方式を用いてマスクをエンコードする。
• サーバーは、参加ユーザーのエンコード済みマスクから直接集約マスクを再構築し、ドロップアウトユーザーのランダムシードを再構築する必要がなくなる。
• エンコードの線形代数的性質を活用することで、脅威モデル下でも正しく動作し、プライバシーが保証される。
• エンコードのオフライン計算をモデル学習と並列化することで、そのランタイムコストを隠蔽する。
• グローバルおよびパーソナライズドフェデレーテッドラーニングフレームワークの両方と互換性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトユーザーのランダムシードを再構築する必要を回避することで、フェデレーテッドラーニングにおけるセキュアアグリゲーションの効率性を向上させられるか？
• RQ2 参加ユーザーのエンコード済みマスクからのみ、集約マスクの再構築を安全かつ効率的に実現できるか？
• RQ3 オフライン処理の並列化といったシステムレベルの最適化により、セキュアFLにおけるエンドツーエンドのトレーニングレイテンシをどの程度低減できるか？
• RQ4 提案手法は、最先端のプロトコルと同等の強力なプライバシー保護とドロップアウト耐性を維持できるか？
• RQ5 高いユーザードロップアウト率を示す現実的なFL環境において、どの程度のパフォーマンス向上が達成できるか？

主な発見

• LightSecAgg は、現実的なフェデレーテッドラーニング環境において、ベースラインのセキュアアグリゲーションプロトコルと比較して、合計トレーニング時間を最大12.7倍短縮する。
• プロトコルは、最先端の手法と同等のプライバシー保護とドロップアウト耐性を維持しており、一部のユーザーがドロップアウトしても、いかなるユーザーのモデルも露呈しないことを保証する。
• ランダムシードの再構築から集約マスクの直接再構築への移行により、ユーザーのドロップアウトに対処する際の計算および通信オーバーヘッドが顕著に削減される。
• オフラインエンコードの並列化を含むシステムレベルの最適化により、前処理のレイテンシが効果的に隠蔽され、実用性が向上する。
• 本手法は、さまざまなモデルやデータセットと互換性があり、異なるフェデレーテッドラーニングワークロードにおいて一貫したパフォーマンス向上を示す。
• ドロップアウトユーザー数の増加に伴っても効率的にスケーリングされ、その複雑度がドロップアウト数に依存しないため、拡張性に優れる。