[論文レビュー] Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach

Cuong Dinh Tran, Ferdinando Fioretto+1 more|arXiv (Cornell University)|Sep 26, 2020

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、特徴量の差別のないモデル出力を保証するとともに、性的・人種的属性などの機微な属性のプライバシーを保護するためのプライベートでフェアなラグランジュ双対（PF-LD）フレームワークを提案する。本手法は、多様なグループフェアネス基準（例えば、デモグラフィックパラティーション、イコライズドオッズ、正確性パラティーション）を満たすように深層ニューラルネットワークを訓練するが、同時に機微な属性のための微分プライバシーを保証する。ラグランジュ双対を用いてフェアネス制約を埋め込み、クリッピングのしきい値を適切に設定した上で、プライマルとデュアルの両更新にノイズを注入することで、精度、プライバシー、フェアネスのバランスの取れたトレードオフを達成し、ベンチマークデータセットにおいてベースライン手法を上回る性能を発揮する。

ABSTRACT

A critical concern in data-driven decision making is to build models whose outcomes do not discriminate against some demographic groups, including gender, ethnicity, or age. To ensure non-discrimination in learning tasks, knowledge of the sensitive attributes is essential, while, in practice, these attributes may not be available due to legal and ethical requirements. To address this challenge, this paper studies a model that protects the privacy of the individuals sensitive information while also allowing it to learn non-discriminatory predictors. The method relies on the notion of differential privacy and the use of Lagrangian duality to design neural networks that can accommodate fairness constraints while guaranteeing the privacy of sensitive attributes. The paper analyses the tension between accuracy, privacy, and fairness and the experimental evaluation illustrates the benefits of the proposed model on several prediction tasks.

研究の動機と目的

• 性的・人種的属性のような機微な属性のプライバシーを保護しつつ、差別ののないモデル出力を保証することに課題を解決すること。
• 推論時における機微な属性へのアクセスを必要とせず、複数のグループフェアネス定義を強制する深層学習フレームワークを開発すること。
• 訓練プロセスに微分プライバシーを統合しつつ、感度に応じたノイズ注入により、モデルの精度とフェアネスを維持すること。
• 機微な属性が部分的に欠損している、または同意を得られない状況に対応できることで、実世界への実用的導入を可能にすること。
• 制約付き最適化におけるラグランジュ双対を用いた、精度、プライバシー、フェアネスのトレードオフを理論的および実験的に分析すること。

提案手法

• フェアネス制約付き学習問題を、ラグランジュ双対を用いてフェアネス制約を双対化する制約付き最適化問題として定式化し、拡張ラグランジュ項を導入する。
• プライマルとデュアルの両更新にクリッピングを適用する：プライマルステップでは、機微な属性を含む勾配のみをクリッピングすることで、精度損失を最小限に抑える。
• 制約勾配の感度とそのノルムに応じて、ノイズをプライマルとデュアルの両更新に注入することで、$(\epsilon, \delta)$-微分プライバシーを保証する。
• 期待制約違反と勾配誤差の上界を最小化するように、クリッピングしきい値$C_p$と$C_d$を調整し、バイアスとバイアスのトレードオフをバランスさせる。
• 機微な属性が欠損している場合に対応するため、欠損データとしてモデル化することで、一部の個人が属性を公開した場合でも訓練を可能にする。
• 訓練ステップ全体にわたりプライバシー損失を追跡するため、モーメント会計師スタイルの解析を用い、形式的な微分プライバシー保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 訓練時に機微な属性へのアクセスがなくても、深層学習モデルが強力なフェアネス性能を達成できるか？
• RQ2 機微な属性に対して、効果的に微分プライバシーを適用しつつ、モデルの精度とフェアネスを維持できるか？
• RQ3 制約付き深層学習における、精度、フェアネス、プライバシーの最適なトレードオフは何か？
• RQ4 プライマルとデュアル勾配のクリッピングしきい値は、プライベートフェア学習におけるバイアス-バリアンストレードオフにどのように影響するか？
• RQ5 機微な属性が部分的に欠損している（例：60％欠損）場合、モデルの性能はどのようになるか？

主な発見

• PF-LDフレームワークは、精度、プライバシー、フェアネスの間で有利なトレードオフを達成し、BankおよびIncomeデータセットにおいてベースライン手法を上回る性能を発揮した。
• 中程度のクリッピングしきい値$C_p$と$C_d$が最良のバランスをもたらす：しきい値が小さすぎると情報損失とフェアネス違反が増加し、大きすぎるとバイアスが増大し性能が低下する。
• Bankデータセットでは、中程度の$C_p$と$C_d$値でフェアネス違反が最小化され、モデルの精度は高い水準を維持し、制約違反も低く抑えられた。
• 機微な属性が部分的に欠損していた場合（例：60％欠損）でも、欠損率が低下するにつれて、フェアネス違反は低減し、精度-フェアネストレードオフが改善された。
• 高いプライバシー予算（$\epsilon = 1.0$）でも、フェアネス違反が著しく低減したため、本フレームワークはプライバシーのさまざまな環境においても頑健であることが示された。
• 実験結果から、勾配がクリッピングしきい値を超えた場合でも、特に最適な$C_p$と$C_d$設定では、制約違反の頻度が低く抑えられていることが確認された。