[論文レビュー] Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors

Timothy S. Stevens, Christian Skalka+4 more|arXiv (Cornell University)|Dec 13, 2021

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、学習における誤差（LWE）問題に裏打ちされた、高い効率性と強力なプライバシー保証を達成する、フェデレーテッドラーニングのための新規な微分プライバシー保護型セキュアアグリゲーションプロトコルであるFLDPを提案する。計算的微分プライバシーと悪意のあるクライアント向けセキュアアグリゲーションを統合することで、通信拡張率を2倍から1.7倍に低減し、サーバーの計算を数秒にまで短縮した。これにより、MNIST（ε ≤ 2のとき95％の精度）およびCIFAR-10（ε ≤ 4のとき70％の精度）で中央モデルに近い性能を達成するスケーラブルかつ正確な学習が可能になった。

ABSTRACT

Federated machine learning leverages edge computing to develop models from network user data, but privacy in federated learning remains a major challenge. Techniques using differential privacy have been proposed to address this, but bring their own challenges -- many require a trusted third party or else add too much noise to produce useful models. Recent advances in \emph{secure aggregation} using multiparty computation eliminate the need for a third party, but are computationally expensive especially at scale. We present a new federated learning protocol that leverages a novel differentially private, malicious secure aggregation protocol based on techniques from Learning With Errors. Our protocol outperforms current state-of-the art techniques, and empirical results show that it scales to a large number of parties, with optimal accuracy for any differentially private federated learning scheme.

研究の動機と目的

• 信頼できる第三者を必要とするか、通信および計算のオーバーヘッドが著しく高い既存の微分プライバシー保護型フェデレーテッドラーニングプロトコルのスケーラビリティおよび効率性の制限を解消すること。
• 信頼できるサーバーを必要とせず、過剰なノイズを追加せずに微分プライバシーを保証する悪意のあるクライアント向けセキュアアグリゲーションプロトコルを開発すること。
• 中央モデルの微分プライバシー性能に匹敵するモデル精度を実現しながら、スケーラブルな実装を維持すること。
• 学習における誤差（LWE）問題の難解さを活用し、最小限の計算コストで微分プライバシーとセキュアアグリゲーションを同時に実現すること。
• 提案されたプロトコルが、多数のクライアントにスケーリング可能であり、実世界のフェデレーテッドラーニングシステムへの実用的導入を可能にすること。

提案手法

• 微分プライバシーに用いられるノイズがLWEの誤差項としても機能するように設計された、LWE問題に基づく新しいセキュアアグリゲーションプロトコルを考案し、二重のセキュリティ目的を達成する。
• 計算的微分プライバシーを保証する分散型離散ガウス機構を統合し、悪意あるクライアントおよびサーバーの行動に対してもプライバシーが保証される。
• モデル更新の感度を制限するために勾配クリッピングを用い、ノイズの追加効果を最大化しながらモデルの有効性を維持する。
• 500本の長さ20,000のベクトルを処理する際、クライアントおよびサーバー間の通信における拡張率を2倍から1.7倍に低減することで、通信および計算を最適化する。
• 信頼できる第三者を排除し、クライアント数に比例して効率的にスケーリング可能なセキュアマルチパーティコンピュテーションフレームワークを実装する。
• LWEの代数的構造を活用し、個々の更新情報を露呈せずに、効率的かつ検証可能なクライアント勾配のアグリゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 信頼できる第三者を不要にしつつ、通信および計算のオーバーヘッドを低く保てる微分プライバシー保護型セキュアアグリゲーションプロトコルを設計できるか？
• RQ2 学習における誤差（LWE）問題の難解さを活用することで、フェデレーテッドラーニングにおいて微分プライバシーとセキュアアグリゲーションを同時に達成できるか？
• RQ3 提案されたプロトコルは、多数のクライアントにスケーリング可能であり、微分プライバシーの中央モデルと同等のモデル精度を維持できるか？
• RQ4 悪意あるセキュアフェデレーテッドラーニング環境において、プライバシー予算（ε）、モデル精度、計算効率のトレードオフはどの程度か？
• RQ5 LWEベースのノイズとセキュアアグリゲーションを統合することで、先行研究の最先端プロトコルで見られた2倍を超える通信拡張率を下回る可能性はあるか？

主な発見

• 500本の長さ20,000のベクトルをアグリゲートする際、FLDPは通信拡張率を2倍から1.7倍に低減し、帯域幅の効率性が著しく向上した。
• サーバーの計算時間は、先行研究の最先端プロトコルが数分を要するのに対し、数秒にまで短縮された。
• MNISTではε ≤ 2の範囲で95％の精度を達成し、微分プライバシーの中央モデルの性能と一致した。
• CIFAR-10ではε ≤ 4の範囲で70％の精度を達成し、複雑な画像分類タスクにおいても高い性能を示した。
• 信頼できるキュレーターに依存せず、悪意あるクライアントおよび悪意あるサーバーに対してセキュリティを維持し、エンドツーエンドのプライバシーを保証した。
• 実験的評価により、FLDPが多数のクライアントに効果的にスケーリング可能であり、実世界のフェデレーテッドラーニングの展開に適していることが確認された。