[論文レビュー] Locally Differentially Private Heavy Hitter Identification

Tianhao Wang, Ninghui Li+1 more|arXiv (Cornell University)|Aug 22, 2017

Privacy-Preserving Technologies in Data参考文献 21被引用数 24

ひとこと要約

本稿では、大規模なドメインにおけるヘビーハイターを特定するための、局所的微分プライバシー（LDP）プロトコルであるプレフィックス拡張法（PEM）を提案する。PEMは、ユーザーをグループ化し、徐々に長い値のプレフィックスを報告することで、効果的にヘビーハイターを特定する。PEMは、最適化されたグループサイズとグループ数の削減により、特にドメインサイズが大きくなると、MCM や SPM と比較して顕著に優れた精度を達成する。これは、ノイズ管理の改善により、より高い実用性を実現する。

ABSTRACT

The notion of Local Differential Privacy (LDP) enables users to answer sensitive questions while preserving their privacy. The basic LDP frequent oracle protocol enables the aggregator to estimate the frequency of any value. But when the domain of input values is large, finding the most frequent values, also known as the heavy hitters, by estimating the frequencies of all possible values, is computationally infeasible. In this paper, we propose an LDP protocol for identifying heavy hitters. In our proposed protocol, which we call Prefix Extending Method (PEM), users are divided into groups, with each group reporting a prefix of her value. We analyze how to choose optimal parameters for the protocol and identify two design principles for designing LDP protocols with high utility. Experiments on both synthetic and real-world datasets demonstrate the advantage of our proposed protocol.

研究の動機と目的

• 局所的微分プライバシー（LDP）下で、すべての値の周波数推定が計算的に不可能な大規模ドメインにおけるヘビーハイターの特定という課題に対処すること。
• 計算コストを最小限に抑えつつ、ユーザーのプライバシーを保ち、高い実用性を維持するLDPプロトコルを設計すること。
• ヘビーハイター特定を超えて応用可能なLDPプロトコルの一般的な設計原則を同定すること。
• 理論的実用性分析を、合成データおよび実世界のデータセットを用いた実験によって検証すること。

提案手法

• ユーザーは g 個のグループに分割され、それぞれが長さが増加するプレフィックス η を報告し、最終グループは完全な値を報告する。
• 集約者が各段階で頻出プレフィックスを段階的に特定し、前段のステップに基づいて候補を pruning して探索空間を縮小する。
• プライバシー予算をグループ間で分割し、各グループが1つの質問に回答することで、プライバシー予算の希釈を回避する。
• グループサイズと候補数のバランスを取る実用性分析を通じて、特にセグメント長 η の最適パラメータが導出される。
• 各段階で周波数オракルプロトコル（例：OLH/OUE）を活用し、ノイズを含むプレフィックス周波数を推定する。
• 理論的実用性分析により、グループサイズ（実用性の向上）と候補数（精度の低下）のトレードオフをモデル化し、グループサイズの影響が優勢であると結論づける。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー下で、すべての周波数推定が不可能な大規模ドメインにおいて、ヘビーハイターの特定をどのように効率的に行うことができるか？
• RQ2 LDPプロトコルにおいて、グループサイズとグループ数の最適なトレードオフは何か？ これは実用性を最大化するためのものである。
• RQ3 プレフィックス長の増分 η の選択が、ヘビーハイター検出の精度と効率にどのように影響するか？
• RQ4 本プロトコルから導かれた設計原則は、他のLDP問題へ一般化可能か？
• RQ5 PEMは、MCM や SPM といった既存手法と比較して、精度とスケーラビリティの観点から定量的にどのように優れているか？

主な発見

• ドメインサイズが大きくなると、グループ数の削減とグループサイズの拡大により、PEMはMCM や SPM より顕著に高い精度を達成する。
• 実用性分析により、より大きなグループサイズが候補数の増加を上回る影響を持つことが示され、少数の大きなグループがより効果的であることが判明した。
• MCM が √n チャネルで最適化された場合でさえ、PEM は既存手法を上回る性能を示した。
• 実験的検証により、理論的実用性予測と観測された性能が、合成データおよび実世界のデータセットの両方で一致することが確認された。
• 2つの主要な設計原則が特定された：(1) ユーザーをグループに分割し、各グループが1つの質問に回答すること、(2) グループ数を最小限に抑えてグループサイズと実用性を最大化すること。
• 分布が不利であっても、本手法は依然として有効であるが、性能は依然として分布の特性に依存する。