[論文レビュー] Samplable Anonymous Aggregation for Private Federated Data Analysis

Kunal Talwar, Shan Wang+35 more|arXiv (Cornell University)|Jul 27, 2023

Cryptography and Data Security被引用数 4

ひとこと要約

本稿では、中央 trusted curatorモデルに近いプライバシー・ユーティリティのトレードオフを実現する、差分プライバシーを備えたフェデレーテッドラーニングおよび分析を可能にする、新たな暗号的プリミティブである「Samplable Anonymous Aggregation (SA²)」を紹介する。クライアント側のサンプリング、複数のサーバー間での秘密分散、匿名化された集約を組み合わせることで、単一の信頼できる当事者を必要とせず、強力なプライバシー保証を達成し、実世界のシステムにおけるスケーラブルで安全かつ効率的な展開を可能にする。

ABSTRACT

We revisit the problem of designing scalable protocols for private statistics and private federated learning when each device holds its private data. Locally differentially private algorithms require little trust but are (provably) limited in their utility. Centrally differentially private algorithms can allow significantly better utility but require a trusted curator. This gap has led to significant interest in the design and implementation of simple cryptographic primitives, that can allow central-like utility guarantees without having to trust a central server. Our first contribution is to propose a new primitive that allows for efficient implementation of several commonly used algorithms, and allows for privacy accounting that is close to that in the central setting without requiring the strong trust assumptions it entails. {\em Shuffling} and {\em aggregation} primitives that have been proposed in earlier works enable this for some algorithms, but have significant limitations as primitives. We propose a {\em Samplable Anonymous Aggregation} primitive, which computes an aggregate over a random subset of the inputs and show that it leads to better privacy-utility trade-offs for various fundamental tasks. Secondly, we propose a system architecture that implements this primitive and perform a security analysis of the proposed system. Our design combines additive secret-sharing with anonymization and authentication infrastructures.

研究の動機と目的

• 単一の信頼できるキュレーターに依存しない実用的でスケーラブルかつプライバシー保護型のプリミティブを設計すること。
• 中央 trusted setting で達成可能な水準に近い差分プライバシーの保証を、フェデレーテッドラーニングおよび分析に提供すること。
• 最小限の信頼仮定のもとで、デバイス間で効率的かつ匿名的かつサンプリング可能な集約を可能にするシステムアーキテクチャを構築すること。
• 安全なマルチパーティ計算、TEE、同型暗号などの既存手法の限界を克服し、通信オーバーヘッドを低減し、プライバシー会計を厳密にすること。
• 詳細なアーキテクチャと脅威モデル分析を通じて、提案手法の実現可能性とセキュリティを実証すること。

提案手法

• クライアントの匿名性を保ちながら、ランダムなクライアントサブセットの上での集約を可能にする、新たな理想機能としての「Samplable Anonymous Aggregation (SA²)」を提案する。
• Prioシステムに基づく二サーバーのスプリットトラストモデルを採用し、クライアントは加法的秘密分散を用いてデータをサーバー間で分散配布する。
• クライアント側のサンプリングを導入することで、デバイスのランダムサブセットの上での集約を可能にし、プライバシーの向上と計算負荷の低減を実現する。
• デイアナニマス化とデバイス認証メカニズムを用いて、デイアナニマス化攻撃を防止し、入力の整合性を保証する。
• 集約出力に差分プライバシーを適用することで、trusted curatorモデルにおけるmoments accountantに近いプライバシー境界を達成する。
• マルチラウンドのやり取りを回避するアーキテクチャを設計することで、クライアントの離脱や通信オーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 単一のサーバーに対する完全な信頼を必要とせず、中央 trusted curatorモデルに近い差分プライバシーの保証を達成できるフェデレーテッド集約プリミティブを設計できるか？
• RQ2 クライアントの匿名性とデータサンプリングを、フェデレーテッドラーニングおよび分析のための安全でスケーラブルかつ効率的なシステムに統合する方法は何か？
• RQ3 このようなプリミティブを大規模に実装するための、必要なシステムアーキテクチャと暗号的コンポONENTは何か？
• RQ4 既存のフェデレーテッドラーニングプロトコルよりもタイトなプライバシー会計を実現できるか？ また、強力なセキュリティ保証を維持できるか？
• RQ5 パフォーマンスやプライバシーを損なわせることなく、複数のサーバーに信頼を分散できるか？

主な発見

• SA²プリミティブは、中央 trusted curator設定とほぼ同一のプライバシー・ユーティリティのトレードオフを実現し、差分プライバシー付きのヒストограмやフェデレーテッドラーニングを可能にする。
• 中央設定におけるmoments accountantに近いプライバシー境界を達成しており、これが初めてのフェデレーテッドプリミティブである。
• アーキテクチャは1年未満で220億件のデバイス寄与の集約をサポートでき、実世界のスケーラビリティを示している。
• クライアント側のサンプリングと匿名集約の活用により、プライバシー会計がタイトに保たれ、モデル汚染攻撃のリスクが低減される。
• 少なくとも1台のサーバーが誠実である限り、単一サーバーの侵害に対しても耐性があり、スプリットトラストモデルにおける強いセキュリティを確保する。
• マルチラウンドのクライアントインタラクションを回避することで、クライアントの離脱に起因する複雑さが軽減され、展開の現実性が向上する。