[論文レビュー] SAFER: Sparse secure Aggregation for FEderated leaRning.

Constance Béguier, Eric W. Tramel|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in DataComputer Science参考文献 38被引用数 17

ひとこと要約

SAFERは、複数の参加者間で圧縮されたモデル更新の効率的でプライバシー保護型の集約を可能にする軽量で安全な集約プロトコルを提案する。スパarsityとセキュアコンピューティングを組み合わせることで、通信コストと計算コストを低減するとともに、クライアントデータが推論攻撃から保護される。深層ニューラルネットワークのトレーニングにおいて最小限のオーバーヘッドで高い効率性を達成する。

ABSTRACT

Federated learning enables one to train a common machine learning model across separate, privately-held datasets via distributed model training. During federated training, only intermediate model parameters are transmitted to a central server which aggregates these parameters to create a new common model, thus exposing only intermediate parameters rather than the training data itself. However, some attacks (e.g. membership inference) are able to infer properties of local data from these intermediate model parameters. Hence, performing the aggregation of these client-specific model parameters in a secure way is required. Additionally, the communication cost is often the bottleneck of the federated systems, especially for large neural networks. So, limiting the number and the size of communications is necessary to efficiently train large neural architectures. In this article, we present an efficient and secure protocol for performing secure aggregation over compressed model updates in the context of collaborative, few-party federated learning, a context common in the medical, healthcare, and biotechnical use-cases of federated systems. By making compression-based federated techniques amenable to secure computation, we develop a secure aggregation protocol between multiple servers with very low communication and computation costs and without preprocessing overhead. Our experiments demonstrate the efficiency of this new approach for secure federated training of deep convolutional neural networks.

研究の動機と目的

• 中間のモデルパラメータが推論攻撃によってローカルデータを漏洩する可能性がある、フェデレーテッドラーニングにおけるプライバシーリスクに対処すること。
• 特に大規模な深層ニューラルネットワークにおいて、通信および計算のオーバーヘッドを低減すること。
• 事前処理や追加のセットアップコストなしに、圧縮されたモデル更新の安全な集約を可能にすること。
• 医療・バイオテクノロジー分野で一般的な少数参加者向けのフェデレーテッドラーニング環境をサポートすること。
• スパarsityとセキュアコンピューティングを統合し、効率的でプライバシー保護型のモデル集約を実現すること。

提案手法

• プロトコルは、送信前にモデル更新を構造的スパarsityで圧縮することで、通信量を削減する。
• 複数のサーバー間で、スパースで暗号化されたモデル更新を安全に集約するために、セキュアマルチパーティコンピューティング（MPC）技術を適用する。
• 事前処理を回避し、プライバシー保護型の方法で直接スパースなモデル更新を処理する。
• 同型暗号と秘密分散を活用し、どの1つのサーバーも個々のクライアントの更新を学習しないようにする。
• 動的なクライアント参加をサポートし、セミホンストな脅威モデル下でもセキュリティを維持する。
• 低遅延通信とクライアント・サーバー両方の計算負荷を最小限に抑えるように最適化されている。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、圧縮されたモデル更新に安全な集約を効率的に適用できるか？
• RQ2 プライバシーを損なわず、通信および計算コストを最小限に抑える方法は何か？
• RQ3 スパarsityを安全な集約に統合することで、帯域幅と処理負荷を低減できるか？
• RQ4 モデル更新がスパースかつ圧縮されている場合でも、強力なプライバシー保証を維持できるか？
• RQ5 深層ニューラルネットワークのトレーニングにおいて、通信およびパフォーマンスのスケーラビリティはどの程度か？

主な発見

• モデル更新におけるスパarsityを活用することで、通信コストを著しく削減した安全な集約を達成した。
• クライアントおよびサーバーの両方で計算オーバーヘッドを低く抑え、深層畳み込みニューラルネットワークの効率的トレーニングを可能にした。
• 事前処理や追加のセットアップ手順なしに、安全な集約を実現した。
• どのサーバーも個々のクライアントのモデル更新を学習しないようにすることで、プライバシーを保持した。
• 実験結果から、SAFERが医療やバイオテクノロジー分野のような実世界のシナリオにおいて、効率的で安全なフェデレーテッドトレーニングを可能にすることが確認された。
• 通信および計算効率の観点から、従来の安全な集約手法と比較して、スケーラビリティとパフォーマンスの向上を示した。