[論文レビュー] PrivMin: Differentially Private MinHash for Jaccard Similarity Computation

Ziqi Yan, Jiqiang Liu+3 more|arXiv (Cornell University)|May 20, 2017

Privacy-Preserving Technologies in Data参考文献 21被引用数 7

ひとこと要約

この論文では、Jaccard類似度計算のための微分プライバシーを満たすMinHashアルゴリズムであるPrivMinを提案する。これは、実用的で高いプライバシー保証を達成しつつ、最小限のユーティリティ損失で$ε$-微分プライバシーを厳密に満たす。本研究では、MinHash値生成への指数分布ノイズの注入と、MinHashステップ選択におけるランダム化応答に基づく手法という、2つの新しいプライベート操作を導入し、実データセット上でも高いプライバシー保証と最小限のユーティリティ損失を実現した。

ABSTRACT

In many industrial applications of big data, the Jaccard Similarity Computation has been widely used to measure the distance between two profiles or sets respectively owned by two users. Yet, one semi-honest user with unpredictable knowledge may also deduce the private or sensitive information (e.g., the existence of a single element in the original sets) of the other user via the shared similarity. In this paper, we aim at solving the privacy issues in Jaccard similarity computation with strict differential privacy guarantees. To achieve this, we first define the Conditional $ε$-DPSO, a relaxed differential privacy definition regarding set operations, and prove that the MinHash-based Jaccard Similarity Computation (MH-JSC) satisfies this definition. Then for achieving strict differential privacy in MH-JSC, we propose the PrivMin algorithm, which consists of two private operations: 1) the Private MinHash Value Generation that works by introducing the Exponential noise to the generation of MinHash signature. 2) the Randomized MinHashing Steps Selection that works by adopting Randomized Response technique to privately select several steps within the MinHashing phase that are deployed with the Exponential mechanism. Experiments on real datasets demonstrate that the proposed PrivMin algorithm can successfully retain the utility of the computed similarity while preserving privacy.

研究の動機と目的

• セミホンストユーザーが背景知識を持つ場合に、MinHashに基づくJaccard類似度計算でプライベートな集合要素が推測されてしまうというプライバシー漏洩問題に対処すること。
• 集合演算に適用可能な、緩和された微分プライバシー定義である条件付き$ε$-DPSOを形式化すること。
• 類似度計算において高いユーティリティを維持する実用的な微分プライバシーを満たすアルゴリズム（PrivMin）を設計すること。
• ベースライン手法と比較して、大きなユーティリティの低下を伴わずに強いプライバシー保証を達成できることを実証すること。

提案手法

• 集合演算に特化した緩和された微分プライバシー定義、条件付き$ε$-DPSOを導入し、MH-JSCがこれを満たすことを証明する。
• MinHash値生成に指数分布を用いたノイズを直接加えることで、プライベートなMinHash値生成を提案する。
• ランダム化応答技術を用いて、どのMinHashステップを実行するかをプライベートに選択するランダム化MinHashステップ選択を実装する。
• 両方の操作を組み合わせてPrivMinアルゴリズムを構築し、Jaccard類似度パイプライン全体でエンドツーエンドの$ε$-微分プライバシーを保証する。
• 2段階アプローチを採用：まず、プライベートにMinHash署名を生成し、次に、最終的な類似度推定に使用するステップをプライベートに選択する。
• 最終出力を摑み直すのではなく、計算の最も細分化された段階にノイズを注入することで、ユーティリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 集合演算に特化した緩和された微分プライバシー定義を形式化できるか？ これにより、MinHashに基づくJaccard類似度計算のプライバシーを分析できるか？
• RQ2 ユーティリティを損なわせることなく、MinHashプロセスで微分プライバシーを厳密に強制できるか？
• RQ3 ノイズの配置、特にMinHash値生成段階にノイズを注入することの、プライバシーとユーティリティへの影響は何か？
• RQ4 類似度計算後にノイズを追加するベースラインの微分プライバシー手法と比較して、PrivMinはどのように性能を発揮するか？
• RQ5 実際の応用において、プライバシーとユーティリティのトレードオフを最適化するパラメータ設定（例：$\epsilon$, $K$）は何か？

主な発見

• PrivMinは、MinHash値生成に指数分布を用い、ステップ選択にランダム化応答を適用することで、$ε$-微分プライバシーを達成し、強いプライバシー保証を実現した。
• Mean Squared Error (MSE) において、すべてのデータセットおよびパラメータ設定で、ベースラインおよびMH-JSCよりも常に低い値を示した。特に、$\epsilon=1.0$, $K=25$ の条件下でAlpine DaleでMSEが最小0.000016まで低下した。
• F1スコアにおいて、$\epsilon$ と $K$ の変化に対しても安定した性能を示し、$\epsilon \leq 1.0$ かつ $K \leq 20$、または $\epsilon \leq 0.8$ かつ $K \leq 25$ の条件下でベースラインを上回った。
• $K$ の変更に対しても耐性があり、ユーティリティの低下が最小限に抑えられ、MinHashレベルでのノイズ注入が計算後のノイズ追加よりも効果的であることを示した。
• 実用的ユーティリティ指標において、ベースラインを著しく上回った。例えば、Alpine Daleでは$\epsilon=0.01$の下でMSEがベースラインの801.6931から0.000055に低下し、14,576倍の改善を達成した。
• 結果から、$\epsilon \leq 1.0$ の強いプライバシー予算下でも、PrivMinが十分なユーティリティを維持できることを確認した。これは、プライバシーに配慮した実世界の応用に適したことを示している。