[論文レビュー] Differential Privacy Has Disparate Impact on Model Accuracy

Eugene Bagdasaryan, Vitaly Shmatikov|arXiv (Cornell University)|May 28, 2019

Privacy-Preserving Technologies in Data参考文献 38被引用数 77

ひとこと要約

DP-SGDは精度を不均等に劣化させ、代表性の低いサブグループや複雑なデータを、よく表現されたものよりも悪化させ、DPは既存の不公平を増幅できることを示している。

ABSTRACT

Differential privacy (DP) is a popular mechanism for training machine learning models with bounded leakage about the presence of specific points in the training data. The cost of differential privacy is a reduction in the model's accuracy. We demonstrate that in the neural networks trained using differentially private stochastic gradient descent (DP-SGD), this cost is not borne equally: accuracy of DP models drops much more for the underrepresented classes and subgroups. For example, a gender classification model trained using DP-SGD exhibits much lower accuracy for black faces than for white faces. Critically, this gap is bigger in the DP model than in the non-DP model, i.e., if the original model is unfair, the unfairness becomes worse once DP is applied. We demonstrate this effect for a variety of tasks and models, including sentiment analysis of text and image classification. We then explain why DP training mechanisms such as gradient clipping and noise addition have disproportionate effect on the underrepresented and more complex subgroups, resulting in a disparate reduction of model accuracy.

研究の動機と目的

• Differential privacy via DP-SGDがサブグループやデータの複雑さに対する精度へ与える影響を調査する動機づけ。
• 複数のタスクにおいて、DPトレーニングが不均衡なクラスおよびサブグループに不均衡に悪影響を及ぼすことを経験的に示す。
• 不均衡データに対するバイアスを増幅させる勾配クリッピングとノイズというメカニズムを説明する。
• 既存のモデルの不公平性と、プライバシー誘発の精度低下の相互作用を強調する。

提案手法

• 勾配クリッピングとガウシアンノイズを用いたDP-SGDを、プライバシー追跡のための moments accountant で実装する。
• 顔画像の性別/年齢分類、ツイートの感情分析、種分類、連合学習言語モデル化など、タスク横断で広範な実験を行う。
• ハイパーパラメータ（クリッピング結界 S、ノイズのスケール、バッチサイズ、エポック数）を変化させ、サブグループの精度への影響を調べる。
• クラス別勾配ノルムと、クリッピング/ノイズがUnderrepresented groupに与える影響を分析する。
• MNIST に類似した実験を用いて、ハイパーパラメータが差別的影響に与える影響を示す。
• Rényi DPを用いてプライバシー損失を測定し、εを狙いの水準以下に保つ。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDは、Underrepresented subgroupsの方が、Well-represented onesよりも大きな精度低下を生じさせるのか？
• RQ2 DP-SGDの勾配クリッピングとノイズは、勾配サイズの不均衡によりUnderrepresentedデータに不均衡に影響するのか？
• RQ3 DP設定（S、ノイズ、バッチサイズ、エポック数）は、サブグループ間の精度の公平性にどのように影響するのか？
• RQ4 非DPモデルの既存の不公平性は、差分プライバシーを適用することで増幅されるのか？
• RQ5 視覚、NLP、連合学習など、多様なタスクにおいて、DPが精度に与える影響は普遍的か？

主な発見

• DPモデルは、DP-SGDの下で、暗い肌の顔は明るい肌の顔よりも精度低下が大きいことを示す。
• DPトレーニングは、不均衡なサブグループおよび複雑なデータを含むサブグループで、非DPモデルと比較して精度の低下が大きい。
• 不均衡なグループと十分に表現されたグループ間の差は、DPの下で拡大することが多く、“poor get poorer”現象で例示される。
• 勾配クリッピングと付加ノイズは、Underrepresentedデータからの学習更新を不均衡に減少させ、複数のタスクでバイアスを増幅する（顔属性、感情、種、連合言語）。
• MNIST様の実験では、データ量の少ない低頻度クラスは、全体のεを10以下に保っていても、DP下でははるかに大きな精度劣化を経験する。