[論文レビュー] Label differential privacy via clustering

Hossein Esfandiari, Vahab Mirrokni+2 more|arXiv (Cornell University)|Oct 5, 2021

Privacy-Preserving Technologies in Data参考文献 15被引用数 4

ひとこと要約

本稿では、特徴量に基づいてトレーニング例をクラスタリングし、クラスタに特化したランダム化応答をラベルに適用することにより、プライバシーと有効性のトレードオフを改善する、新しいラベル微分プライバシー機構を提案する。同じクラスタからのラベルに置き換えることで、クラスタが大きく均一な場合には非プライベート学習と同等の超過リスクを達成し、実験では一様ランダム化応答およびDP-SGDを上回る性能を示す。

ABSTRACT

We present new mechanisms for \emph{label differential privacy}, a relaxation of differentially private machine learning that only protects the privacy of the labels in the training set. Our mechanisms cluster the examples in the training set using their (non-private) feature vectors, randomly re-sample each label from examples in the same cluster, and output a training set with noisy labels as well as a modified version of the true loss function. We prove that when the clusters are both large and high-quality, the model that minimizes the modified loss on the noisy training set converges to small excess risk at a rate that is comparable to the rate for non-private learning. We describe both a centralized mechanism in which the entire training set is stored by a trusted curator, and a distributed mechanism where each user stores a single labeled example and replaces her label with the label of a randomly selected user from the same cluster. We also describe a learning problem in which large clusters are necessary to achieve both strong privacy and either good precision or good recall. Our experiments show that randomizing the labels within each cluster significantly improves the privacy vs. accuracy trade-off compared to applying uniform randomized response to the labels, and also compared to learning a model via DP-SGD.

研究の動機と目的

• 標準的な差分プライバシー機械学習ではすべての特徴量が保護されるが、その場合プライバシーと有効性のトレードオフが悪いため、ラベルの保護に限定することを目的とする。
• 特徴量に基づくクラスタリングを通じてラベルプライバシーを保ちながら、高有効性のモデル学習を可能にするメカニズムを設計することを目的とする。
• 信頼できる中央管理者が存在しない分散型プロトコルを設計し、ユーザーがクラスタ固有のラベル分布から局所的にラベルをノイズ化できるようにすることを目的とする。
• 理論的および実験的に、クラスタの質とサイズがプライバシーと有効性のトレードオフを顕著に改善することを示すこと。
• 強いプライバシーを実現しつつ高いモデル精度または再現率を達成するには、大規模で低不均一性のクラスタが必要であることを示すこと。

提案手法

• 非プライベートな特徴量ベクトルを用いてトレーニング例をクラスタリングし、類似したデータポイントをグループ化する。
• 一様にラベルを置き換えるのではなく、各ラベルをそのクラスタのラベル分布から抽出されたラベルに置き換えるランダム化応答の変種を適用する。
• ラベルノイズを補正できるように変更された損失関数を構築し、ノイズが加えられたデータ上で正確なモデル学習を可能にする。
• 信頼できるキュレーターがクラスタ統計を使用してラベルランダム化を実行する集中型メカニズムを設計する。
• 各ユーザーが同じクラスタ内のランダムに選ばれたピアからノイズラベルをサンプリングするピアツーピア分散型メカニズムを設計する。
• クラスタ内でのラベル分布の類似度を測る指標としてクラスタの不均一性φを定義し、これがプライバシーと有効性に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 一様ランダム化応答と比較して、クラスタベースのラベルランダム化は差分プライバシー学習におけるプライバシーと有効性のトレードオフを改善できるか？
• RQ2 クラスタサイズおよび均一性は、クラスタノイズ付きデータで学習されたモデルの超過リスクにどのように影響するか？
• RQ3 中央管理者が存在しないピアツーピア分散型メカニズムは、ラベル微分プライバシーを達成できるか？
• RQ4 さまざまなプライバシーおよびデータ品質パラメータ下での、提案メカニズムの理論的超過リスクの上限は何か？
• RQ5 クラスタが小さいか不均一な場合、プライバシー、再現率、および再現率の間に根本的なトレードオフが存在するか？

主な発見

• 集中型メカニズムは、φが小さいかεが大きい場合には非プライベートレートと一致する超過リスク Õ(K√(d/n) + K²φ/(1+(e^ε−1)φ)) を達成する。
• ピアツーピアメカニズムは (ε,1/s²)-ラベル微分プライバシーを満たし、二値分類では超過リスク Õ(√(d/(εn)) + φ) を示す。
• 実験では、クラスタベースのラベルランダム化が一様ランダム化応答およびDP-SGDと比較して、プライバシーと精度のトレードオフを顕著に改善することが示された。
• 理論的分析により、高い精度または再現率を達成するには、特にφが無視できない場合、大規模なクラスタが必要であることが証明された。
• εが定数の場合、クラスタが小さすぎる場合には、精度φまたは再現率ηのいずれかが非定数である必要があることが示され、根本的なトレードオフが存在することが明らかになった。
• クラスタサイズが大きく、クラスタの不均一性が低いほどメカニズムの性能が向上し、優れたクラスタリングの重要性が裏付けられた。