[論文レビュー] Aggregation Service for Federated Learning: An Efficient, Secure, and More Resilient Realization

Yifeng Zheng, Shangqi Lai+4 more|arXiv (Cornell University)|Feb 4, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、フェデレーテッドラーニングにおける軽量で安全かつレジliントな集約サービスを提案し、クライアントが機密情報を露呈せずに暗号化されたモデル更新を送信できる、革新的な暗号的集約プロトコルを用いる。このシステムは、計算を効率的に行い、鍵再設定を必要とせずにドロップアウトに耐性を持ち、能動的サーバー攻撃者に対する整合性保護を提供する。従来の手法に比べてクライアント側コストが最大39倍低く抑えられ、平文ベースラインと同等の性能を達成する。

ABSTRACT

Federated learning has recently emerged as a paradigm promising the benefits of harnessing rich data from diverse sources to train high quality models, with the salient features that training datasets never leave local devices. Only model updates are locally computed and shared for aggregation to produce a global model. While federated learning greatly alleviates the privacy concerns as opposed to learning with centralized data, sharing model updates still poses privacy risks. In this paper, we present a system design which offers efficient protection of individual model updates throughout the learning procedure, allowing clients to only provide obscured model updates while a cloud server can still perform the aggregation. Our federated learning system first departs from prior works by supporting lightweight encryption and aggregation, and resilience against drop-out clients with no impact on their participation in future rounds. Meanwhile, prior work largely overlooks bandwidth efficiency optimization in the ciphertext domain and the support of security against an actively adversarial cloud server, which we also fully explore in this paper and provide effective and efficient mechanisms. Extensive experiments over several benchmark datasets (MNIST, CIFAR-10, and CelebA) show our system achieves accuracy comparable to the plaintext baseline, with practical performance.

研究の動機と目的

• フェデレーテッドラーニングにおけるプライバシーリスクに対処すること。これは、生データを共有しないにもかかわらず、モデル更新が個人情報を漏洩する可能性があるためである。
• 高価な暗号操作を必要とせず、安全で軽量な暗号化とモデル更新の集約を可能にするシステムを設計すること。
• 再鍵設定を必要とせずに、将来の参加のために秘密鍵を保持することで、ドロップアウトクライアントに対する耐性を実現すること。
• 暗号化ドメインでの量子化に基づく圧縮により、通信効率を最適化すること。
• セミホンストモデルを越えて、能動的攻撃を受けるクラウドサーバーに対しても計算の整合性を保証すること。

提案手法

• 従来の研究から選別された安全な集約プロトコルを採用し、モデル更新の効率的で軽量な暗号化と集約を可能にする。
• クライアント側での量子化を用いて、暗号化前のモデル更新を圧縮し、通信オーバーヘッドを低減する。
• 秘密分散とブラインディング要因を用いて、個々の更新を隠蔽しながら、グローバルモデル集約に必要な加法的準同型性を維持する。
• ドロップアウトクライアントがその秘密鍵を保持できる仕組みを導入し、将来的な参加にスムーズに復帰できるようにする。
• サーバー側で整合性チェックを実装し、改ざんを検出することで、能動的サーバー攻撃に対しても計算の整合性を保証する。
• 暗号操作を最小限に抑え、安全な集約に適した整数演算を活用することで、パフォーマンスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、重い暗号技術に依存せずに、効率的かつ安全な集約をどのように達成できるか？
• RQ2 将来的な参加のために鍵再設定を必要とせずに、ドロップアウトクライアントをサポートできるか？
• RQ3 暗号化ドメインで通信効率を向上させつつ、モデルの精度を損なわずに実現できるか？
• RQ4 能動的サーバー攻撃がモデルの整合性に与える影響は何か？ そして、その影響をどのように軽減できるか？
• RQ5 量子化技術を用いることで、安全なフェデレーテッドラーニングにおける通信オーバーヘッドをどの程度低減できるか？

主な発見

• ドロップアウト率が0の場合、本手法は先行研究[7]に比べて最大39倍低いクライアント側計算コストを達成する。
• ドロップアウト率が上昇するにつれ、クライアント側コストは最大2.3倍にしか増加せず、先行研究のコストは顕著に増加する（例：50％ドロップアウト時、58.43ms 対 1.49ms）。
• 特に高いドロップアウト率およびクライアント選択率の下で、本手法のサーバー側計算コストは一貫して低く抑えられる。これは、秘密鍵再構築の必要性が減少するためである。
• 本システムは、MNIST、CIFAR-10、CelebAの各データセットにおいて、平文ベースラインと同等のモデル精度を維持する。
• 本システムは、能動的攻撃者に対する整合性保護を提供する強力なセキュリティ保証を備えつつ、最小限のパフォーマンスオーバーヘッドで実現する。
• 量子化に基づく圧縮は、安全な集約パイプラインにおいてモデル性能を劣化させることなく、通信オーバーヘッドを効果的に低減する。