[論文レビュー] FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning

Swanand Kadhe, Nived Rajaraman+2 more|arXiv (Cornell University)|Sep 23, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 113

ひとこと要約

FastSecAgg はFFT-based マルチシークレット共有スキーム (FastShare) を導入し、 dropout tolerance と adaptive adversaries を備えたフェデレーテッドラーニングにおけるスケーラブルで安全な集計を実現します。

ABSTRACT

Recent attacks on federated learning demonstrate that keeping the training data on clients' devices does not provide sufficient privacy, as the model parameters shared by clients can leak information about their training data. A 'secure aggregation' protocol enables the server to aggregate clients' models in a privacy-preserving manner. However, existing secure aggregation protocols incur high computation/communication costs, especially when the number of model parameters is larger than the number of clients participating in an iteration -- a typical scenario in federated learning. In this paper, we propose a secure aggregation protocol, FastSecAgg, that is efficient in terms of computation and communication, and robust to client dropouts. The main building block of FastSecAgg is a novel multi-secret sharing scheme, FastShare, based on the Fast Fourier Transform (FFT), which may be of independent interest. FastShare is information-theoretically secure, and achieves a trade-off between the number of secrets, privacy threshold, and dropout tolerance. Riding on the capabilities of FastShare, we prove that FastSecAgg is (i) secure against the server colluding with 'any' subset of some constant fraction (e.g. $\sim10\%$) of the clients in the honest-but-curious setting; and (ii) tolerates dropouts of a 'random' subset of some constant fraction (e.g. $\sim10\%$) of the clients. FastSecAgg achieves significantly smaller computation cost than existing schemes while achieving the same (orderwise) communication cost. In addition, it guarantees security against adaptive adversaries, which can perform client corruptions dynamically during the execution of the protocol.

研究の動機と目的

• フェデレーテッドラーニングにおけるアップデートが情報を漏らす可能性があるというプライバシー問題を動機づける。
• 多数のクライアントと高次元アップデートにスケールする安全な集計プロトコルを設計する。
• プライバシー保証を維持しつつクライアントのドロップアウトに対するロバスト性を提供する。
• 適応的な攻撃者の下でも強いセキュリティを実現する。
• prior work より実用的な計算・通信効率の向上を提供する。

提案手法

• S0 FastShare を提案する。FastShare は有限体 FFT に基づくマルチシークレット共有スキームで、情報理論的プライバシーを一定割合の共謀サブセットに対して提供する。
• S1 FastShare を FastSecAgg のビルディングブロックとして用い、クライアントアップデートの和を安全に計算する。
• S2 共有生成と回復を効率化するために 2D グリッド表現と Chinese Remainder Theorem を活用する。
• S3 T-privacy threshold と D-dropout resilience を伴う正式なプライバシー保証を提供する。
• S4 計算コストと通信コストを分析し、従来の安全な集計プロトコルと比較する。

実験結果

リサーチクエスチョン

• RQ1 FastShare はクライアントの共謀サブセットに対して情報理論的プライバシーを持つ複数の秘密を安全に共有できるか。
• RQ2 FastSecAgg は現実的なドロップアウト率を許容しつつサーバーの計算を低く抑えた安全な集計を達成できるか。
• RQ3 FFT ベースのスキームにおけるプライバシー閾値、ドロップアウト耐性、効率のトレードオフはどうなるか。
• RQ4 適応的な攻撃者の下で FastSecAgg は非適応モデルと比較してどのように性能を発揮するか。

主な発見

• FastShare は一定割合のクライアントとドロップアウト耐性に関して、共謀サブセットに対して情報理論的プライバシーを高確率で達成する。
• FastSecAgg は先行の安全な集約スキームと比較してサーバー計算を削減しつつ、同程度のオーダーの通信コストを維持する。
• 本プロトコルは実行中にクライアントを破壊できる適応的な攻撃者に対しても耐性を示す。
• N クライアント、長さ-L のアップデートの場合、サーバーは O(L log N) の計算と O(LN + N^2) の通信を用いて計算を行い、各クライアントは O(L log N) の計算と O(L + N) の通信を消費する。
• FastShare は実用的でスケーラブルな安全な集約プリミティブを実現し、より広い安全な MPC タスクにも適用可能である。