[論文レビュー] Federated Heavy Hitters Discovery with Differential Privacy

Wennan Zhu, Peter Kairouz+3 more|arXiv (Cornell University)|Feb 22, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用数 13

ひとこと要約

本稿では、生データを収集せずに、ユーザーが生成するデータストリームにおけるホワイトヘビーヘイター（頻出アイテム）を発見するためのフェデレーテッドでプライバシー保護型のアルゴリズムを提案する。トライ木データ構造を用いて、逐次的な接頭辞に対して反復的かつ閾値付きの投票を実施することで、追加のノイズを加えずに内在的に微分プライバシーを達成する。具体的には、n ≥ 10⁴ の場合に (2, 1/n²)-DP を達成する。この方法は、実用的かつ高い有用性を維持し、Twitterデータ分析のような実践的状況において、ローカル微分プライバシーを上回る性能を示す。

ABSTRACT

The discovery of heavy hitters (most frequent items) in user-generated data streams drives improvements in the app and web ecosystems, but can incur substantial privacy risks if not done with care. To address these risks, we propose a distributed and privacy-preserving algorithm for discovering the heavy hitters in a population of user-generated data streams. We leverage the sampling and thresholding properties of our distributed algorithm to prove that it is inherently differentially private, without requiring additional noise. We also examine the trade-off between privacy and utility, and show that our algorithm provides excellent utility while also achieving strong privacy guarantees. A significant advantage of this approach is that it eliminates the need to centralize raw data while also avoiding the significant loss in utility incurred by local differential privacy. We validate our findings both theoretically, using worst-case analyses, and practically, using a Twitter dataset with 1.6M tweets and over 650k users. Finally, we carefully compare our approach to Apple's local differential privacy method for discovering heavy hitters.

研究の動機と目的

• ユーザーが生成するデータストリームから頻出アイテム（例：人気のある単語や行動）を発見する際のプライバシーリスクに対処すること。
• ホワイトヘビーヘイター検出において、中央集権的およびローカル微分プライバシーのモデル間の有用性のギャップを埋めること。
• 生データを収集せずにホワイトヘビーヘイターを発見できることで、ユーザーのプライバシーを保護しながら高い有用性を維持すること。
• 特にローカル微分プライバシーが過剰な有用性損失を引き起こす領域において、AppleのローカルDPアプローチの実用的代替案を提供すること。
• ノイズを追加せずに、サンプリングと閾値処理に依存することで、アルゴリズムが内在的に微分プライバシーを満たしていることを形式的に証明すること。

提案手法

• ユーザーが以前に発見された人気のある接頭辞の1文字延長について、反復的かつインタラクティブなフェデレーテッドフレームワークで投票する。
• サーバーは投票を集約し、閾値 θ より低いカウントのノードを動的に削除するトライ木データ構造を維持する。
• 各ラウンドで、匿名の投票を送信するユーザーのランダムサブセットを選択し、最小限のデータ露出と一時的なデータ処理を確保する。
• 投票プロセスのサンプリングと閾値処理の性質を活用することで、追加のノイズを加えずに内在的に微分プライバシーを達成する。
• このアルゴリズムは、さらにサーバーが見る情報量を制限するため、セキュアアグリゲーションプロトコルと互換性を持つように設計されている。
• 理論的分析により、シーケンス長が ≤10 の場合に、n ≥ 10⁴ のユーザーに対して (2, 1/n²)-微分プライバシーが満たされることを証明している。

実験結果

リサーチクエスチョン

• RQ1 ローカル微分プライバシーにおける有用性損失を回避しつつ、強いプライバシー保証のもとでフェデレーテッド手法がホワイトヘビーヘイターを発見できるか？
• RQ2 フェデレーテッド投票メカニズムにおけるサンプリングと閾値処理の組み合わせが、追加のノイズなしに内在的に微分プライバシーを提供するか？
• RQ3 実世界のデータにおいて、この手法の有用性はAppleのローカルDPアプローチと比べてどの程度か？
• RQ4 このフェデレーテッド環境において、プライバシーパラメータ（ε, δ）と有用性（正確率、再現率）のトレードオフはいかなるものか？
• RQ5 大規模な集団（例：n ≥ 10⁴）において、強いプライバシーと高い正確性を維持しながら、このアルゴリズムは効果的にスケーリングできるか？

主な発見

• 提案されたアルゴリズムは、n ≥ 10⁴ のユーザー、シーケンス長 ≤10 の条件下で、ノイズを追加せずに (2, 1/n²)-微分プライバシーを達成する。
• 実際のTwitterデータセット（160万件のツイート、65万件以上のユーザー）を用いた実験により、高い有用性を維持していることが実証され、実用的状況ではローカルDPを上回る性能を示した。
• 中央集権的DPモデルとは異なり、生データを中央集権化しないことにより、強力なプライバシー保証を提供する。
• AppleのローカルDP手法と比較して、この提案手法は特にローカルDPが過剰なノイズにより実用不能となる領域において顕著に優れた有用性を達成する。
• 理論的分析により、サンプリングと閾値処理のメカニズムが、定理1および推論1で形式化された通り、内在的に微分プライバシーを保証することが確認された。
• 実験的結果から、OOVおよびセンチメントデータセットの両方において、『dont』、『thats』、『@mileycyrus』などのトップホワイトヘビーヘイターが、高い頻度正確性で正しく同定された。