[論文レビュー] The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning

Weining Chen, Christopher A. Choquette-Choo+2 more|arXiv (Cornell University)|Mar 7, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿は、微分プライバシーを適用したフェデレーテッドラーニングにおけるセキュアアグリゲーションの基本的通信コストを確立し、中央型DPの精度に達するにはクライアントあたり$\tilde{O}(\text{min}(n^2\varepsilon^2, d))$ビットが必須かつ十分であることを証明している。本稿では、スパースランダムプロジェクションを用いた線形圧縮方式と、分散型離散ガウスノイズ機構を組み合わせることで、従来手法と比較して通信量を桁違いに削減しつつ、性能を維持している。

ABSTRACT

We consider the problem of training a $d$ dimensional model with distributed differential privacy (DP) where secure aggregation (SecAgg) is used to ensure that the server only sees the noisy sum of $n$ model updates in every training round. Taking into account the constraints imposed by SecAgg, we characterize the fundamental communication cost required to obtain the best accuracy achievable under $\varepsilon$ central DP (i.e. under a fully trusted server and no communication constraints). Our results show that $ ilde{O}\left( \min(n^2\varepsilon^2, d) ight)$ bits per client are both sufficient and necessary, and this fundamental limit can be achieved by a linear scheme based on sparse random projections. This provides a significant improvement relative to state-of-the-art SecAgg distributed DP schemes which use $ ilde{O}(d\log(d/\varepsilon^2))$ bits per client. Empirically, we evaluate our proposed scheme on real-world federated learning tasks. We find that our theoretical analysis is well matched in practice. In particular, we show that we can reduce the communication cost significantly to under $1.2$ bits per parameter in realistic privacy settings without decreasing test-time performance. Our work hence theoretically and empirically specifies the fundamental price of using SecAgg.

研究の動機と目的

• セキュアアグリゲーション（SecAgg）を伴う分散型微分プライバシー（DP）において、中央型DPの精度に達するための通信コストの下限を特定すること。
• 既存のSecAgg対応スキームが通信最適であるか、それとも非効率であるかを同定すること。
• セキュアアグリゲーションと互換性があり、通信量を最小限に抑えつつDPの保証とモデルの有用性を維持する線形圧縮方式を設計すること。
• 理論的および実験的に、提案手法が最先端の手法と比較して顕著に通信コストを低減しているが、テスト性能に悪影響を及げないことを検証すること。

提案手法

• クライアントの更新を送信する前に圧縮するため、スパースランダムプロジェクション（特にカウントスケッチ）に基づく線形圧縮方式を提案する。
• 圧縮方式を分散型離散ガウス（DDG）機構と組み合わせ、微分プライバシーを保証する。
• セキュアアグリゲーションプロトコルを用いて、サーバーがクライアント更新のノイズ付き和集合のみを観測できるようにし、クライアントレベルのプライバシーを保護する。
• 集中不等式と尾部バウンドを用いて、圧縮とノイズによって生じる誤差を分析し、プライバシーと精度を保証する。
• ランダムプロジェクションとノイズ注入の確率的解析を用いて、通信コストに必要な理論的境界を導出する。
• 実世界のフェデレーテッドラーニングタスクを対象に、理論的主張と通信量の削減を実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 セキュアアグリゲーションを伴う分散環境下で中央型DPの精度に達するための通信コストの根本的下限は何か？
• RQ2 既存のSecAgg対応DPスキームの通信コストは最適であるか、それとも顕著に削減可能か？
• RQ3 スパースランダムプロジェクションに基づく線形圧縮方式は、微分プライバシーとモデル有用性を維持しつつ、最適な通信効率を達成可能か？
• RQ4 提案手法下で、クライアント数$n$、プライバシー予算$\varepsilon$、モデル次元$d$が通信コストにどのように影響するか？
• RQ5 実用的なプライバシー環境下で、テスト時のモデル性能を劣化させることなく、通信量をどの程度削減可能か？

主な発見

• セキュアアグリゲーション下で中央型DPの精度に達するための通信コストの根本的下限は、クライアントあたり$\tilde{O}(\text{min}(n^2\varepsilon^2, d))$ビットであり、これは必須かつ十分である。
• 提案手法により、実用的なプライバシー設定下でパラメータあたり1.2ビット未満の通信コストにまで削減され、従来の$16$ビット/パラメータの報告値を著しく下回っている。
• 本手法は、スパースランダムプロジェクションと分散型離散ガウス機構を組み合わせることで、SecAgg制約下での最適圧縮を実現している。
• 理論的分析により、通信コストが$d$に関して非線形に、$n\varepsilon$に関しては2乗に比例して増加することが確認され、高プライバシー環境下での圧縮性の向上を反映している。
• 実世界のフェデレーテッドラーニングタスクにおける実験結果は、理論的予測と強く整合しており、テスト精度に劣化は認められない。
• 従来の$\tilde{O}(d\log(d/\varepsilon^2))$ビット/クライアントを用いる手法は、情報理論的限界に達していないことが示され、本手法は情報理論的限界に到達している。