[論文レビュー] Communication-Computation Efficient Secure Aggregation for Federated Learning

Beongjun Choi, Jy-yong Sohn+2 more|arXiv (Cornell University)|Dec 10, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用数 48

ひとこと要約

CCESA は、完全グラフの秘密分散によるセキュア集計を疎な割り当てグラフ（Erdős–Rényi）に置換し、通信・計算コストを大幅に削減しつつ、信頼性とプライバシーを同等に達成します。著者は、現実的な攻撃下で最大60-70%のリソース節約と強いプライバシーを示す理論条件と実証結果を提供します。

ABSTRACT

Federated learning has been spotlighted as a way to train neural networks using distributed data with no need for individual nodes to share data. Unfortunately, it has also been shown that adversaries may be able to extract local data contents off model parameters transmitted during federated learning. A recent solution based on the secure aggregation primitive enabled privacy-preserving federated learning, but at the expense of significant extra communication/computational resources. In this paper, we propose a low-complexity scheme that provides data privacy using substantially reduced communication/computational resources relative to the existing secure solution. The key idea behind the suggested scheme is to design the topology of secret-sharing nodes as a sparse random graph instead of the complete graph corresponding to the existing solution. We first obtain the necessary and sufficient condition on the graph to guarantee both reliability and privacy. We then suggest using the Erdős-Rényi graph in particular and provide theoretical guarantees on the reliability/privacy of the proposed scheme. Through extensive real-world experiments, we demonstrate that our scheme, using only $20 \sim 30\%$ of the resources required in the conventional scheme, maintains virtually the same levels of reliability and data privacy in practical federated learning systems.

研究の動機と目的

• 局所データがモデル集約中に非公開のままとなるべきフェデレーテッドラーニングにおけるプライバシーの動機付け。
• 疎なグラフトポロジーを用いて通信と計算を削減した安全な集約プロトコルの開発。
• CCESA における信頼性とプライバシーのための必要十分なグラフベース条件を確立。
• 実データセットでの理論的な性能保証と実証検証を提供。

提案手法

• 完全グラフを低次数グラフに置換して資源使用を削減。
• エッジがどのクライアントが鍵と秘密共有を共有するかを示す割り当てグラフ G を使用。
• Theorems 1 と 2 に基づく G の必要十分条件を導出。
• Erdős–Rényi グラフ G(n,p) を採用し、高確率の信頼性とプライバシーを達成する p の閾値を導出（Theorems 3–4）。
• 有限 n の境界（Theorems 5–6）を提供し、既存の SA および Turbo-aggregate との複雑性を比較。
• AT&T 顔データと CIFAR-10 に対して SA と比較して CCESA を実験的に検証し、実行時間、信頼性、モデル反転攻撃およびメンバーシップ推定攻撃下のプライバシーを測定。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、プライバシーを損なうことなく集約をよりスケーラブルにするにはどうすればよいか？
• RQ2 疎な接続で信頼性とプライバシーを保証するグラフトポロジーは何か？
• RQ3 CCESA が信頼性とプライバシーを満たすための理論的閾値（p, n, q）は何か？
• RQ4 CCESA は既存の SA と比較して、時間・信頼性・プライバシーの点で経験的にどうか？
• RQ5 実データセット上で CCESA を使用した場合の実務的なリソース節約はどの程度か？

主な発見

グラフのトポロジー	通信コスト（クライアント）	通信コスト（サーバー）	計算コスト（クライアント）	計算コスト（サーバー）
CCESA	Erdős-Rényi graph	O(√(n log n)+ m)	O(n√(n log n)+ mn)	O(n log n + m√(n log n))	O(mn log n) + n^2 log n
Bell et al. 2020	Harary graph	O(log n+m)	O(n log n+ mn)	O(log^2 n + m log n)	O(mn log n + n log^2 n)
SA	Complete graph	O(n+m)	O(n^2+mn)	O(n^2+mn)	O(mn^2)

• CCESA は SA と同程度の信頼性とプライバシーを、はるかに少ないリソース（通信/計算）で達成します。
• Erdős–Rényi グラフトポロジーを用いると、CCESA は SA に対してクライアントの通信と鍵合意の作業量を少なくとも O(√(n/log n)) 倍の低減に抑えられます。
• 理論的閾値は CCESA(n,p) が a.a.s. 的に信頼性とプライバシーを満たすのは p が問題依存の p* を超える場合であり、その p* は n の増加とともに低下します。
• 有限 n の境界は、合理的なドロップアウト率の下で、各ラウンドのプライバシー誤差が極めて小さく（10^-40 未満）、信頼性誤差が 10^-2 未満であることを示します。
• AT&T および CIFAR-10 の実証結果は、CCESA が 40–60% のリソース節約を実現しつつ、攻撃下での精度とプライバシーを比較可能な水準で維持することを示しています。
• CCESA の実行時間は、共有と鍵合意が少ないため、テストされたスケール全体で SA より大幅に低い。