[論文レビュー] Practical Secure Aggregation for Federated Learning on User-Held Data

Kallista Bonawitz, Vladimir Ivanov+7 more|arXiv (Cornell University)|Nov 14, 2016

Privacy-Preserving Technologies in Data参考文献 11被引用数 188

ひとこと要約

提案された実用的で通信効率の高い安全な集約プロトコルをフェデレーテッド学習で用い、ユーザの脱落を許容し、サーバーや他のユーザから個々の勾配を保護する。高次元モデルで顕著な通信拡張の改善を達成。

ABSTRACT

Secure Aggregation protocols allow a collection of mutually distrust parties, each holding a private value, to collaboratively compute the sum of those values without revealing the values themselves. We consider training a deep neural network in the Federated Learning model, using distributed stochastic gradient descent across user-held training data on mobile devices, wherein Secure Aggregation protects each user's model gradient. We design a novel, communication-efficient Secure Aggregation protocol for high-dimensional data that tolerates up to 1/3 users failing to complete the protocol. For 16-bit input values, our protocol offers 1.73x communication expansion for $2^{10}$ users and $2^{20}$-dimensional vectors, and 1.98x expansion for $2^{14}$ users and $2^{24}$ dimensional vectors.

研究の動機と目的

• 中央サーバーへ送られるユーザー勾配を保護するための、フェデレーテッド学習における安全な集約の必要性を促す。
• ユーザーの脱落に頑健で高次元ベクトルにスケーリング可能な実用的なプロトコルを設計する。
• サーバーが集計結果のみを学習し、ユーザーが他者の入力を一切知らないことを保証するセキュリティを確保する。
• 提案されたプロトコルの通信と計算のトレードオフを定量化する。

提案手法

• さまざまな脅威モデル（T1–T3）下でプライバシーを保つダブルマスキング方式に至る一連のプロトコルを開発する。
• 一回限りのペアワイズパッドと秘密分散ラウンドを用いて、ユーザーが脱落しても堅牢な集約を可能にする。
• 悪意あるサーバーに対抗するため、二次マスクを含むダブルマスキング手法を導入する。
• Diffie-Hellmanベースの鍵交換を用いてペアごとの機密を効率的に導出し、PRGを介して高次元ベクトルへシードを展開する。
• プロトコル間でのユーザーとサーバーのオーバーヘッドを比較した性能とコストの要約を提供する。

実験結果

リサーチクエスチョン

• RQ1 プライバシーを犠牲にせず、フェデレーテッド学習におけるユーザー脱落に対して安全な集約をどのように堅牢にできるか。
• RQ2 効率的で高次元な安全な集約を可能にする秘密分散、マスキング、鍵 agreementなどの暗号技術は何か。
• RQ3 正直だが好奇心の強いサーバーと変動する脱落行動の下で、どのようなセキュリティ保証が成り立つか。
• RQ4 実用的なモバイル環境における提案プロトコルの通信および計算コストはどのくらいか。

主な発見

• 実用的なプロトコルは、ユーザーの最大1/3がプロトコルを完了できない場合にも頑健性を発揮する。
• 16ビット入力で2^10ユーザー、2^20-または2^24次元ベクトルの場合、プロトコルはそれぞれ1.73倍および1.98倍の通信拡張を達成する。
• ダブルマスキング（pマスクとbマスク）は、T1 の脅威モデルで t > n/2 の場合にセキュリティを保証し、より高度な脅威モデル（T2、T3）ではより高い閾値が必要になる。
• プロトコル3は、PRGを介してシードを展開し、Diffie-Hellmanを用いてスケーラブルな秘密生成を行うことで通信を削減する。
• サーバー仲介の鍵交換で安全プロトコルをブートストラップすることにより、前方秘匿性を維持したままモバイル機器上での実用展開を可能にする。