[論文レビュー] The Sparse Vector Technique, Revisited

Haim Kaplan, Yishay Mansour+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 4

ひとこと要約

この論文は微分プライバシーにおけるスパースベクタ技法を再考し、進化するデータストリーム上でプライベートなクエリを可能にする新しいアルゴリズム、ThresholdMonitorEvolvingを導入する。この手法は、合計のクエリ偏差ではなく個々のユーザーの寄与に注目することで、エラーの保証を大幅に改善する。その結果、重いハッカー（heavy-hitter）が変化するワークロードにおいて、より強い実用性が得られる。

ABSTRACT

We revisit one of the most basic and widely applicable techniques in the literature of differential privacy - the sparse vector technique [Dwork et al., STOC 2009]. This simple algorithm privately tests whether the value of a given query on a database is close to what we expect it to be. It allows to ask an unbounded number of queries as long as the answer is close to what we expect, and halts following the first query for which this is not the case. We suggest an alternative, equally simple, algorithm that can continue testing queries as long as any single individual does not contribute to the answer of too many queries whose answer deviates substantially form what we expect. Our analysis is subtle and some of its ingredients may be more widely applicable. In some cases our new algorithm allows to privately extract much more information from the database than the original. We demonstrate this by applying our algorithm to the shifting heavy-hitters problem: On every time step, each of $n$ users gets a new input, and the task is to privately identify all the current heavy-hitters. That is, on time step $i$, the goal is to identify all data elements $x$ such that many of the users have $x$ as their current input. We present an algorithm for this problem with improved error guarantees over what can be obtained using existing techniques. Specifically, the error of our algorithm depends on the maximal number of times that a single user holds a heavy-hitter as input, rather than the total number of times in which a heavy-hitter exists.

研究の動機と目的

• 動的データ環境における微分プライバシークエリ応答の実用性を向上させること。特に、重いハッカーが変化するワークロードを対象とする。
• 既存のスパースベクタ技法が、意味のあるクエリの合計数に応じて性能が低下するという制限を解消すること。
• 個々のユーザーの寄与を追跡することで、プライバシーを維持しつつより情報豊かな応答を可能にする新しいアルゴリズムを設計すること。
• 重いハッカーの変化問題におけるエラーの境界を、そのようなイベントの合計数ではなく、1人のユーザーが重いハッカーを保持する最大回数に依存させることで改善すること。

提案手法

• 進化するデータストリームに適応した新しい微分プライバシー・アルゴリズム、ThresholdMonitorEvolvingを提案する。
• 個々のユーザーの寄与に基づいて動的に調整される、修正されたしきい値設定メカニズムを用いる。
• 固定データベースをシミュレートする仮想ゲーム（FicGame）を用いて、$(\varepsilon,\delta)$-微分プライバシーを証明する。
• ラプラスノイズを用い、ノイズのスケーリングを$\tilde{O}(\sqrt{k^*}/\varepsilon)$に設定する。ここで$k^*$は、任意の1人のユーザーが重いハッカーを保持する最大回数を表す。
• エラーの依存関係を、意味のあるクエリの合計数から、1ユーザーあたりの重いハッカーの頻度の最大値に変更する。
• 進化するデータストリームを静的データベースゲームにマッピングすることで、合成則および高度な解析技術を用いてプライバシー保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 スパースベクタ技法を再考することで、動的データ環境におけるよりプライベートかつ情報豊かなクエリ応答が可能になるか？
• RQ2 グローバルなクエリ偏差ではなく、個々のユーザーの寄与に注目することで、微分プライバシー計算における実用性が向上するか？
• RQ3 重いハッカーの変化問題におけるエラー境界を、そのようなイベントの合計数ではなく、1ユーザーあたりの重いハッカーの頻度の最大値に依存させることで改善できるか？
• RQ4 進化するデータワークロードにおいて、制限のないクエリシーケンスを許容しながらも、強力なプライバシー保証を維持できるか？
• RQ5 新しいアルゴリズムが、重いハッカーが変化する設定において、既存の手法よりも優れたエラースケーリングを達成できるか？

主な発見

• 提案されたアルゴリズムは、重いハッカーの変化問題に対して$O(\tau(k^*))$のエラーを達成する。ここで$\tau(k^*) = \tilde{O}\left(\frac{\sqrt{k^*}}{\varepsilon} \cdot \log\left(\frac{1}{\delta}\right) \cdot \log\left(\frac{m \cdot |X|}{\beta}\right)\right)$であり、$k^*$は任意の1人のユーザーが重いハッカーを保持する最大回数を表す。
• エラーは、重いハッカーが存在する時間ステップの合計数ではなく、1人のユーザーが重いハッカーを保持する最大回数$k^*$に依存する。
• $k^*$の仮定が成り立たない場合でも、$(\varepsilon,\delta)$-微分プライバシーが保たれ、堅牢なプライバシー保証が得られる。
• 実用性分析は、ラプラスノイズの集中性に依存しており、すべてのノイズ実現値が$\tau(k^*)$以下になる確率が$1 - \beta$で高い。
• プライバシー証明には、固定データベースをシミュレートする仮想ゲーム（FicGame）が用いられ、進化する実行と静的実行の間の同等性を確立する。
• この手法により、制限のないストリームに対してプライベートなクエリ応答が可能となり、エラースケーリングが著しく向上し、従来の合成に基づくアプローチを大きく上回る。