[論文レビュー] Secure Weighted Aggregation for Federated Learning

Jiale Guo, Ziyao Liu+4 more|arXiv (Cornell University)|Oct 17, 2020

Privacy-Preserving Technologies in DataComputer Science参考文献 20被引用数 17

ひとこと要約

本論文は、同型暗号とゼロ知識証明を用いて、データ格差に対処し、不正なクライアントメッセージに対して耐性を持つ、プライバシー強化型フェデレーテッドラーニング方式を提案する。この方式は、ベースライン手法と比較して実行時間は1.2倍、通信コストは1.3倍に留め、安全で重み付きのモデルアグリゲーションを実現し、データの機微性と整合性を確保する。

ABSTRACT

The pervasive adoption of Internet-connected digital services has led to a growing concern in the personal data privacy of their customers. On the other hand, machine learning (ML) techniques have been widely adopted by digital service providers to improve operational productivity and customer satisfaction. ML inevitably accesses and processes users' personal data, which could potentially breach the relevant privacy protection regulations if not performed carefully. The situation is exacerbated by the cloud-based implementation of digital services when user data are captured and stored in distributed locations, hence aggregation of the user data for ML could be a serious breach of privacy regulations. In this backdrop, Federated Learning (FL) is an emerging area that allows ML on distributed data without the data leaving their stored location. However, depending on the nature of the digital services, data captured at different locations may carry different significance to the business operation, hence a weighted aggregation will be highly desirable for enhancing the quality of the FL-learned model. Furthermore, to prevent leakage of user data from the aggregated gradients, cryptographic mechanisms are needed to allow secure aggregation of FL. In this paper, we propose a privacy-enhanced FL scheme for supporting secure weighted aggregation. Besides, by devising a verification protocol based on Zero-Knowledge Proof (ZKP), the proposed scheme is capable of guarding against fraudulent messages from FL participants. Experimental results show that our scheme is practical and secure. Compared to existing FL approaches, our scheme achieves secure weighted aggregation with an additional security guarantee against fraudulent messages with an affordable 1.2 times runtime overheads and 1.3 times communication costs.

研究の動機と目的

• ローカルデータセットのサイズや品質にばらつきがあるフェデレーテッドラーニングにおけるデータ格差の課題に対処し、グローバルモデルの精度を向上させるために重み付きアグリゲーションを実現すること。
• 同型暗号を用いた安全なアグリゲーションにより、ローカルデータの漏洩を防ぐ強力なプライバシー保証を確保すること。
• 改ざんされた勾配を送信することでモデル重みを操作しようとする悪意あるまたは不正なクライアントのリスクを軽減すること。
• 一部のクライアントが参加しなくなった場合でも、システムの強靭性を維持できるドロップアウトに強いアグリゲーションメカニズムを提供すること。
• ゼロ知識証明を用いて、クライントのメッセージの正しさを検証するが、機微な情報を露呈せずに検証すること。

提案手法

• ペイリア暗号方式を活用し、生データを露呈させることなくクライアント勾配の安全なアグリゲーションを可能にする。
• クライアントの寄与度をデータサイズとラベル品質指標に基づいてスケーリングする重み付きアグリゲーションメカニズムを採用し、データセットの重要性を反映する。
• 各クライアントがアップロードした勾配が正しく計算されており、そのクライアントが主張するデータサイズや品質と整合していることを検証するゼロ知識証明ベースの検証プロトコルを設計する。
• ドロップアウトに強い安全なアグリゲーションフレームワークを統合し、一部のクライアントが応答しなくてもシステムの可用性と正しさを維持する。
• しきい値ベースの秘密分散と安全なマルチパーティ計算の原則を適用し、信頼を分散化し、単一障害点のリスクを回避する。
• 検証プロトコルをアグリゲーションパイプラインに統合し、モデル更新の前に不正なメッセージを検出し拒否する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、クライアント間でのデータ格差を考慮しつつ、どのように安全にモデル更新を集約できるか？
• RQ2 どのような暗号技術的メカニズムが、クライアントのデータや勾配を露呈させずにプライバシー保護型のアグリゲーションを実現できるか？
• RQ3 システムは、悪意あるクライアントが不正な勾配を送信してグローバルモデルを操作しようとするのをどのように検出し、防止できるか？
• RQ4 重み付きアグリゲーションを伴う安全なフェデレーテッドラーニングにゼロ知識証明を統合した場合のパフォーマンスオーバーヘッドはどの程度か？
• RQ5 本手法は、クライアントのドロップアウトが発生しても、強靭性と正しさを維持できるか？

主な発見

• 提案手法は、ベースライン手法と比較して実行時間は1.2倍、通信コストは1.3倍に留め、実用性を示した。
• ゼロ知識証明に基づく検証プロトコルは、機微なクライアントデータを露呈させることなく、不正なメッセージを効果的に検出し拒否した。
• クライアントのドロップアウトに対してもシステムは耐性を示し、各フェーズで最大30％のクライアントが応答しなくても、安全なアグリゲーションを維持した。
• 同型暗号とゼロ知識証明の統合により、エンドツーエンドのプライバシーと整合性が確保され、データ漏洩やモデル汚染のリスクが防止された。
• 実験結果から、本手法は高いモデル精度を維持しながら、データ漏洩や敵対的攻撃に対する強固なセキュリティ保証を提供することが分かった。
• 既存手法と比較して、データ格差や敵対的行動の処理において優れた性能を示し、セキュリティ、精度、効率性のバランスの取れた妥当なトレードオフを実現した。