[論文レビュー] Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy

Depeng Xu, Wei Du+1 more|arXiv (Cornell University)|Mar 8, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 8

ひとこと要約

本稿では、グループごとにクリッピング境界を適応的に調整することで、モデルの有効性に与える差別の的影響を排除する、修正されたプライバシー保護 stochastic gradient descent 法である DPSGD-F を提案する。グループ固有のクリッピングバイアスとサンプルサイズを考慮することで、保護群と大多数のグループ間で等しい精度損失を確保し、プライベート学習における有効性の不平等を顕著に低減する一方で、微分プライバシーの保証を維持する。

ABSTRACT

When we enforce differential privacy in machine learning, the utility-privacy trade-off is different w.r.t. each group. Gradient clipping and random noise addition disproportionately affect underrepresented and complex classes and subgroups, which results in inequality in utility loss. In this work, we analyze the inequality in utility loss by differential privacy and propose a modified differentially private stochastic gradient descent (DPSGD), called DPSGD-F, to remove the potential disparate impact of differential privacy on the protected group. DPSGD-F adjusts the contribution of samples in a group depending on the group clipping bias such that differential privacy has no disparate impact on group utility. Our experimental evaluation shows how group sample size and group clipping bias affect the impact of differential privacy in DPSGD, and how adaptive clipping for each group helps to mitigate the disparate impact caused by differential privacy in DPSGD-F.

研究の動機と目的

• 微分プライバシーが、とりわけ代表が不足しているサブグループを含む人口統計的グループ間で、モデルの精度にどのように不均等に影響を与えるかを調査すること。
• グループのサンプルサイズとグループクリッピングバイアスが、微分プライバシー付き SGD における不均等な有効性損失の主な要因であることを同定すること。
• プライバシーと有効性のトレードオフをグループ間で均等に保証するように、修正された DPSGD アルゴリズムを提案することで、有効性損失の不平等を是正すること。
• 微分プライバシーを維持しつつ、保護群のモデル精度に与える差別の的影響を排除する方法を設計すること。

提案手法

• 各グループのクリッピングバイアスとサンプルサイズに基づいて、グループに適応したクリッピング境界を適用する、修正された微分プライバシー付き SGD である DPSGD-F を提案する。
• グループ固有のクリッピングしきい値を導入し、グループ内のサンプルが与える寄与度を調整することで、グループ間の有効性損失を均衡させる。
• 理論的分析を通じて、グループごとのサンプルサイズの不均衡が、クリッピングバイアスの不均衡を引き起こし、その結果として有効性損失の不均等を生じることを示す。
• 勾配ノルムと損失のグループ間差を最小化するための適応的クリッピングを採用し、すべてのグループにおいてプライベートモデルの性能を非プライベートベースラインと一致させる。
• 実世界のデータセット（Adult および Dutch）を用い、保護属性（性別）を考慮して、公平性と有効性のトレードオフを評価する。
• 男性および女性のサブグループにおける、非プライベート SGD、標準的な DPSGD、ナイーブベースライン、および DPSGD-F の間の精度比較を通じて、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーは、プライベート学習において、さまざまな人口統計的グループ間で、モデル精度にどのように差別の的影響を与えるか？
• RQ2 グループのサンプルサイズやグループクリッピングバイアスといった要因が、微分プライバシー付き SGD における不均等な有効性損失にどのように寄与するか？
• RQ3 グループごとの適応的クリッピングによって、微分プライバシーが引き起こす有効性損失の不平等を解消できるか？
• RQ4 DPSGD-F は、微分プライバシーを維持しながら、大多数のグループと保護群の両方で同等の精度損失を達成できるか？
• RQ5 サブグループ全体における公平性と有効性の観点から、DPSGD-F は標準的な DPSGD やナイーブベースラインと比べて、どのように性能を発揮するか？

主な発見

• アンバランスな Adult データセットでは、DPSGD-F により男性グループの精度損失が DPSGD の -0.025 から -0.029 に低下し、非プライベート SGD ベースラインに著しく近づいた。
• アンバランスな Dutch データセットでは、DPSGD-F が男性グループで精度損失 -0.032 を達成した一方、標準的な DPSGD では -0.124 であったため、不均衡が顕著に低減された。
• バランス／アンバランスな Adult および Dutch の4つの設定すべてにおいて、DPSGD-F は男性および女性グループの両方で類似した精度損失を達成しており、有効性損失の公平性を示している。
• 非プライベート SGD と比較して、DPSGD-F における平均勾配ノルムと損失は、すべてのグループで著しく近づいており、収束性と公平性の向上を示している。
• 図6および図7では、DPSGD-F の収束トレンドが非プライベート SGD に最も近いことが示されており、グループの有効性を維持する有効性を確認している。
• 本手法は、代表が不足しているグループやクリッピングバイアスの高いグループにおける精度劣化の不均等性を低減することで、「貧しいものがさらに貧しくなる」効果を効果的に緩和する。