[論文レビュー] WaveCluster with Differential Privacy

Ling Chen, Ting Yu+1 more|arXiv (Cornell University)|Aug 2, 2015

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、量子化および顕著グリッド同定の段階でノイズを低減する、2つの最適化されたプライバシー保護型手法、PrivTHR および PrivTHR EM を提案する。WaveCluster のための微分プライバシー技術であり、クラスタリングの有効性を著しく向上させる。低プライバシー予算でも高い精度を達成し、複数のデータセットにおいてベースラインの合成データ生成手法を上回る性能を示す。

ABSTRACT

WaveCluster is an important family of grid-based clustering algorithms that are capable of finding clusters of arbitrary shapes. In this paper, we investigate techniques to perform WaveCluster while ensuring differential privacy. Our goal is to develop a general technique for achieving differential privacy on WaveCluster that accommodates different wavelet transforms. We show that straightforward techniques based on synthetic data generation and introduction of random noise when quantizing the data, though generally preserving the distribution of data, often introduce too much noise to preserve useful clusters. We then propose two optimized techniques, PrivTHR and PrivTHREM, which can significantly reduce data distortion during two key steps of WaveCluster: the quantization step and the significant grid identification step. We conduct extensive experiments based on four datasets that are particularly interesting in the context of clustering, and show that PrivTHR and PrivTHREM achieve high utility when privacy budgets are properly allocated.

研究の動機と目的

• 任意の形状のクラスタを検出できるグリッドベースのアルゴリズムである WaveCluster において、クラスタリングの有効性を保ちつつ微分プライバシーを確保する課題に取り組む。
• ノイズの多い負のカウントによりデータ分布が歪み、クラスタが合体してしまう既存の合成データ生成手法の限界を克服する。
• さまざまなウェーブレット変換に適応可能な、一般化されたウェーブレットに依存しない WaveCluster における微分プライバシー手法を開発する。
• 量子化と顕著グリッド同定の段階におけるプライバシー予算の最適な割り当てを最適化することで、クラスタリングの有効性を向上させる。
• プライバシー化されたクラスタリング結果と非プライバシー化されたクラスタリング結果の類似性をより正確に評価するための新しい評価指標（OCM および 2CE）を提案する。

提案手法

• Laplaceノイズを用いて、量子化段階に直接微分プライバシーを適用する PrivTHR を導入。プライバシー予算の最適な割り当てを実施。
• 顕著グリッド同定プロセスの改善を図るため、反復的で EM に類似したリファインメントステップを導入した PrivTHR EM を開発。
• 2段階のプライバシー予算割り当て戦略を採用：感度解析に基づき、量子化（γ に影響）に 90%、顕著グリッド検出（β に影響）に 10% の予算を割り当てる。
• 合成データ生成に依存せず、WaveCluster のコアな計算ステップ（量子化および顕著グリッド同定）に微分プライバシーを適用する。
• ウェーブレット変換（例：ハール、バイオルソゴナル）を活用して、クラスタがより明確に識別可能な空間にデータを変換し、プライバシー制約下でも形状情報を保持する。
• プライバシー化されたクラスタリング結果と真のクラスタリング結果との類似性を、クラスマッピングとデータポイント間のペアワイズ関係の両方を評価する新しい指標 OCM（Overall Cluster Matching）および 2CE（Two-Class Error）を導入。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成に依存せずに、WaveCluster に微分プライバシーを効果的に適用可能か？（合成データ生成はしばしばデータ分布を歪め、クラスタを合体させる。）
• RQ2 量子化と顕著グリッド同定の段階におけるプライバシー予算を最適に割り当てることで、クラスタリングの有効性を最大化できるか？
• RQ3 同じプライバシー予算下で、PrivTHR および PrivTHR EM は、例えば適応グリッドを用いた合成データ生成といったベースライン手法を、クラスタリング精度および有効性の面で上回るか？
• RQ4 OCM および 2CE で提案された評価指標は、従来の F-measure よりも、プライバシー化された結果と非プライバシー化された結果の真正の類似性をどれほどよく反映しているか？
• RQ5 PrivTHR および PrivTHR EM の性能は、らせん状や凹型のクラスタを有するデータセット（例：スパイラル、凹型）において、クラスタの形状やサイズに応じてどのように変化するか？

主な発見

• ε > 0.5 の条件下で、DS1、DS3、Gowalla において PrivTHR および PrivTHR EM は OCM 値が 0.15 未満を達成し、プライバシー化された結果と真のクラスタリング結果との類似性が非常に高いことを示している。
• DS2（3つのらせん）において、PrivTHR EM は ε > 0.5 の条件下で OCM < 0.1 を維持しており、凹型クラスタにおけるノイズへの耐性が PrivTHR より優れていることを示している。
• 4つの手法（PrivTHR、PrivTHR EM、Baseline、PrivQT）は 2CE および OCM において類似した傾向を示すが、2CE は DS1 のような大規模データセットではノイズに対して感受性が低く、組み合わせ正規化のおかげである。
• 感度解析と有効性評価に基づき、PrivTHR の最適なプライバシー予算割り当ては、量子化（ε₁）に 90%、顕著グリッド検出（ε₂）に 10% であると判明した。
• 適応グリッドを用いたベースラインの合成データ生成は、図 2 に示すように、負のカウントを 0 に設定するため、2つの明確なクラスタが合体してしまうなど、顕著なデータ歪みを引き起こす。
• すべてのデータセット（DS1、DS2、DS3、Gowalla）において、ε ∈ [0.5, 2.0] の範囲で、PrivTHR および PrivTHR EM は OCM および 2CE の両面で、Baseline および PrivQT を一貫して上回っている。