[論文レビュー] Differentially Private Clustering: Tight Approximation Ratios

Badih Ghazi, Ravi Kumar+1 more|arXiv (Cornell University)|Aug 18, 2020

Privacy-Preserving Technologies in Data参考文献 97被引用数 11

ひとこと要約

この論文は、$k$-means、$k$-median、$1$-Cluster、DensestBall問題のためのプライバシー保護型クラスタリングアルゴリズムを提示しており、近似比が非プライベートな最良のアルゴリズムと一致する一方で、わずかな加法的誤差しか発生させない。このアプローチは、効率的な更新が可能な新しいプライバシー保護型ClosestPairデータ構造を活用し、多項式時間できわめてタイトな近似保証を得ることが可能である。

ABSTRACT

We study the task of differentially private clustering. For several basic clustering problems, including Euclidean DensestBall, 1-Cluster, k-means, and k-median, we give efficient differentially private algorithms that achieve essentially the same approximation ratios as those that can be obtained by any non-private algorithm, while incurring only small additive errors. This improves upon existing efficient algorithms that only achieve some large constant approximation factors. Our results also imply an improved algorithm for the Sample and Aggregate privacy framework. Furthermore, we show that one of the tools used in our 1-Cluster algorithm can be employed to get a faster quantum algorithm for ClosestPair in a moderate number of dimensions.

研究の動機と目的

• 近似比が非プライベートな最良のアルゴリズムと一致する、基本的なクラスタリング問題に対する効率的なプライバシー保護型アルゴリズムの設計。
• $n$ および $d$ における多項式時間実行を維持しつつ、プライベートクラスタリングにおける加法的誤差を最小限に抑えること。
• 従来の研究では定数因子近似にとどまり、または超多項式時間が必要であったのを改善すること。
• 効率的な動的更新をサポートし、よりタイトなクラスタリング境界を実現するための、ClosestPair用のプライベートデータ構造の開発。
• プライベートクラスタリングプリミティブが、プライベート機械学習のためのSample and Aggregateフレームワークを改善し、量子アルゴリズムの高速化に寄与することの実証。

提案手法

• Voronoiに基づくセル分割と誤り訂正符号技術を用いて、距離閾値 $\xi$ 以内の点のペアを維持するプライベートなデータ構造を設計。
• 各点をその近隣セルにマッピングするためのプライベートな最近傍ベクトル問題（CVP）アルゴリズムを用い、効率的な位置特定と更新操作を実現。
• 与えられたセルから $2\sqrt{\xi}$ 以内のすべてのセルを特定するリストデコードアルゴリズムを採用し、距離関連の更新を効率的に伝搬可能にする。
• ユニークなペアと近いペアを追跡するため、補助的なカウンタ $q^{\text{marked-cell}}$、$p^{\text{total}}_{\leq\xi}$、および各セルの状態 $M[c]$ を維持。
• 点の挿入または削除に伴う近いペア数の変化を検出するための二値関数 $\Lambda$ を定義し、更新の正確な伝搬を保証。
• 履歴に依存しないハッシュ関数を用いることで、データ構造が履歴に依存せず、動的更新下でもプライバシー保証が維持されることを保証。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護型クラスタリングアルゴリズムは、非プライベートな最良のアルゴリズムと同等の近似比を達成できるか？
• RQ2 多項式時間計算量を満たすプライベートな $k$-means および $k$-median クラスタリングにおいて、最小限の加法的誤差はどの程度達成可能か？
• RQ3 プライバシー保護型ClosestPair用のデータ構造は、プライバシーを保ちつつ、効率的な動的更新をサポートできるように設計できるか？
• RQ4 プライベートクラスタリングプリミティブは、プライベート機械学習のためのSample and Aggregateフレームワークを改善するために利用できるか？
• RQ5 プライベートクラスタリングアルゴリズムは、中程度の次元数における量子アルゴリズムの高速化にどのような影響を及えるか？

主な発見

• 本論文は、任意の $\alpha > 0$ に対して $(1+\alpha, \tilde{O}(\sqrt{d}/\epsilon))$-近似比を達成する、初めてのプライバシー保護型 $1$-Clusterアルゴリズムを提示しており、非プライベートな最良の近似比と一致する。
• $k$-means および $k$-median クラスタリングにおいて、提案されたアルゴリズムは $n$ および $d$ における多項式時間で $(1+\alpha, \tilde{O}(\sqrt{d}/\epsilon))$-近似比を達成する。
• ClosestPair用のプライベートデータ構造は $2^{O(d)}$-時間の更新をサポートし、中程度の次元数におけるClosestPairの高速化を実現する量子アルゴリズムを可能にする。
• フレームワークは、プライベート集約におけるよりタイトな誤差バウンドを可能にすることで、Sample and Aggregateフレームワークを改善する。
• 結果として、差分プライバシーが近似品質と効率性のトレードオフを必然的に伴うものではないことが示され、わずかな加法的誤差でほぼ最適な近似比が達成可能である。
• 1-ClusterおよびDensestBallにおいて、$O(\sqrt{d}/\epsilon)$ の加法的誤差を達成しており、標準的な計算複雑性仮定のもとで漸近的にタイトであることが示されている。