[論文レビュー] Disparate Impact in Differential Privacy from Gradient Misalignment

Maria S. Esipova, Atiyeh Ashari Ghomi+2 more|arXiv (Cornell University)|Jun 15, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本論文は、微分プライバシー付き確率的勾配降下法（DPSGD）における勾配の不均衡なクリッピングが原因で生じる勾配の不整合性—すなわち、保護群ごとの不均等な勾配クリッピング—が、保護群間における差別の的影響の主な要因であると特定した。本論文は、保護群ラベルの必要がないままにグローバルに勾配を整合化する、新しいDPSGDの変種、DPSGD-Global-Adaptを提案し、特に希少なグループにおいても、公平性の格差を顕著に低減するとともに、すべてのグループにおける性能を向上させた。

ABSTRACT

As machine learning becomes more widespread throughout society, aspects including data privacy and fairness must be carefully considered, and are crucial for deployment in highly regulated industries. Unfortunately, the application of privacy enhancing technologies can worsen unfair tendencies in models. In particular, one of the most widely used techniques for private model training, differentially private stochastic gradient descent (DPSGD), frequently intensifies disparate impact on groups within data. In this work we study the fine-grained causes of unfairness in DPSGD and identify gradient misalignment due to inequitable gradient clipping as the most significant source. This observation leads us to a new method for reducing unfairness by preventing gradient misalignment in DPSGD.

研究の動機と目的

• 微分プライバシー付き確率的勾配降下法（DPSGD）における差別の的影響の詳細な原因を調査すること。
• DPSGDにおける不公平の主な要因として、グループごとのクリッピングの不均衡に起因する勾配の不整合性を同定すること。
• 保護群ラベルのアクセスを必要としない方法を開発し、差別の的影響を低減すること。
• プライベートトレーニング中にグループ間で勾配を整合化することで、モデルの性能と公平性を向上させること。
• 勾配の方向誤差を最小化することが、大きさやノイズ誤差の最小化よりも、公平性の観点でより効果的であることを検証すること。

提案手法

• グループごとのクリッピングではなく、すべてのグループの最大勾配ノルムに基づくグローバルクリッピング閾値を用いるDPSGDの変種を提案。
• トレーニング中に観測された勾配ノルムに基づいて、動的に上限値 $ Z $ を調整する適応的クリッピング機構を導入。
• すべてのグループにわたる未クリッピング勾配の方向を保持するグローバル勾配整合戦略を適用し、不整合を低減。
• 微分プライバシーを維持しつつ、方向に基づく誤差を最小限に抑える修正済みのノイズ注入方式を採用。
• 学習率のチューニング戦略を用いて、大きな学習率によるノイズ誤差の増加と、大きさおよび方向誤差の低減のバランスを取る。
• トレーニング中に保護群ラベルを一切使用せず、差別の的取り扱いのリスクを回避。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー付き確率的勾配降下法（DPSGD）における差別の的影響の主な原因は何か？
• RQ2 グループごとのクリッピングに起因する勾配の不整合は、保護群間の不公平にどのように寄与するか？
• RQ3 保護群メンバーシップ情報の入手なしに、勾配の整合化を達成できるか？
• RQ4 勾配の方向誤差を低減することが、大きさやノイズ誤差の低減よりも、公平性および性能の観点で優れているか？
• RQ5 グローバルクリッピング戦略は、プライバシー保証を維持したまま、グループごとのクリッピングを上回る差別の的影響の低減効果を示せるか？

主な発見

• 過剰かつ不均衡なクリッピングに起因する勾配の不整合性が、DPSGDにおける差別の的影響の最も顕著な要因であり、不均等な影響への寄与度において、大きさやノイズ誤差を上回る。
• 提案されたDPSGD-Global-Adapt法は、標準的なDPSGDと比較して、保護群間のプライバシーコスト格差を最大50％まで低減し、公平性指標において統計的に有意な改善を達成した。
• Adultデータセットでは、DPSGD-Global-Adaptが79.4% ± 0.1の正確性を達成し、DPSGDと比較して勾配の不整合に起因する過剰リスクを70％低減した。
• Dutchデータセットでは、DPSGD-FおよびDPSGD-Globalと比較して、正確性と公平性の両面で優れた性能を示し、正確性で0.5%の絶対的向上と、リスク格差で0.05の低減を達成した。
• ノイズ由来誤差が20％増加したにもかかわらず、グローバル手法はより優れた最終的性能を達成した。これは、方向誤差が公平性の主なボトルネックであることを裏付けた。
• このアプローチは、テストされた手法の中で唯一、保護群ラベルを必要とせず、差別の的取り扱いのリスクを排除しながらも、差別の的影響を低減した。