[論文レビュー] Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy

Tom Farrand, Fatemehsadat Mireshghallah+2 more|arXiv (Cornell University)|Sep 10, 2020

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、データの不均衡と微分プライバシー（DP）が深層学習におけるモデルの有用性と公平性をどのように共同して劣化させるかを調査している。不均衡なデータセットに対してDP-SGDを適用した結果、たとえ軽微な不均衡（例：マイノリティグループが30％）や緩いプライバシー予算（ε=4.98、ε=16.2）であっても、サブグループ間の精度差が5.1％～52％上昇し、公平性指標（デモグラフィックパリティと機会の平等）が不均衡とDPの両方の影響を大きく受けることが示された。

ABSTRACT

Deployment of deep learning in different fields and industries is growing day by day due to its performance, which relies on the availability of data and compute. Data is often crowd-sourced and contains sensitive information about its contributors, which leaks into models that are trained on it. To achieve rigorous privacy guarantees, differentially private training mechanisms are used. However, it has recently been shown that differential privacy can exacerbate existing biases in the data and have disparate impacts on the accuracy of different subgroups of data. In this paper, we aim to study these effects within differentially private deep learning. Specifically, we aim to study how different levels of imbalance in the data affect the accuracy and the fairness of the decisions made by the model, given different levels of privacy. We demonstrate that even small imbalances and loose privacy guarantees can cause disparate impacts.

研究の動機と目的

• データの不均衡と微分プライバシーが深層学習におけるモデルの精度と公平性に及える統合的影響を調査すること。
• 低ε（低いプライバシー保証）や軽微なデータ不均衡下でも、マイノリティサブグループに顕著な差別の影響が生じるかどうかを検討すること。
• DP-SGDにおける勾配クリッピングがトレーニング中にメジャリティとマイノリティグループ間の精度ギャップをどのように悪化させるかを分析すること。
• さまざまなレベルのデータ不均衡とプライバシー予算における公平性指標（デモグラフィックパリティと機会の平等）を評価すること。
• 厳密なプライバシー保証のもとで公平なモデルパフォーマンスを保証できない状況を同定すること。

提案手法

• 制御されたデータ不均衡レベル（マイノリティグループが0.1％～30％）を有する画像分類タスク（CelebA、UTKFace）に対してDP-SGDを実証的に評価すること。
• プライバシー予算ε（1.15～16.2）とδ=10⁻⁶を系統的に変化させ、モデルの精度と公平性への影響を評価すること。
• トレーニング全体を通してプライバシー予算を追跡・強制するためにモーメント会計法を用いること。
• トレーニングステップにわたってサブグループの精度（例：CelebAにおける女性対男性）をモニタリングし、乖離ダイナミクスを観察すること。
• 公平性指標の測定：感受性のあるサブグループ間でのデモグラフィックパリティの差（ΔDemP）と機会の平等の差（ΔEO）の測定。
• 勾配クリッピングの影響を分析し、マイノリティグループの例がミニバッチ内での頻度が低いためにクリッピングされやすいと仮説を立てること。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを用いた深層学習において、データの不均衡はサブグループ間の精度差にどのように影響するか？
• RQ2 緩いプライバシー保証（例：ε=4.98 や ε=16.2）のもとでも、DPによるモデル精度への差別の影響が持続するか？
• RQ3 データ不均衡が増加する中で、デモグラフィックパリティや機会の平等といった公平性指標は、DP下でどのように変化するか？
• RQ4 DP-SGDにおける勾配クリッピングは、トレーニング中にメジャリティとマイノリティグループ間の精度ギャップをどの程度悪化させるか？
• RQ5 高いプライバシー予算（εがタイト）は公平性の劣化を緩和できるのか、それとも逆に有用性をあまりに低下させることで公平性が改善するのか？

主な発見

• 比較的バランスの取れたデータセット（マイノリティグループが30％）であっても、ε=4.98 や ε=16.2 でDP-SGDを適用すると、サブグループ間の精度差がそれぞれ5.1％および5.2％上昇する。
• マイノリティグループがデータの0.1％にまで減少すると、ε=4.98 および ε=16.2 の下で精度差はそれぞれ19％および52％にまで上昇する。
• データ不均衡が進行するにつれて公平性指標は著しく劣化する：ΔDemPおよびΔEOはすべてのプライバシー水準で悪化し、特に極端に不均衡な状況で最も深刻な劣化が見られる。
• サブグループの精度の乖離は、ミニバッチ内での頻度が低いことによりマイノリティグループの例が特に多くクリッピングされる勾配クリッピングに起因する。
• よりタイトなプライバシー予算（例：ε=1.15）は、公平性を改善するのではなく、全体の有用性をあまりに著しく低下させることで、モデルが予測においてよりランダムになり、結果として精度がよりバランスよくなることで、差を小さくする。
• 本研究では、DPが公平性を保証するものではなく、わずかな不均衡や緩いプライバシー予算のもとでも、既存のバイアスを悪化させる可能性があることを示した。