[論文レビュー] FNNC: Achieving Fairness through Neural Networks

Manisha Padala, Sujit Gujar|arXiv (Cornell University)|Nov 1, 2018

Ethics and Social Impacts of AI参考文献 23被引用数 13

ひとこと要約

FNNCは、ラグランジュ乗数を用いて損失関数に公平性制約（人口統計的同等性、差別の的影響、等しいオッズ）を直接組み込むことで、分類における公平性を強制するニューラルネットワークベースのフレームワークを提案する。この手法は、凸サロゲートを必要とせず、2段階のミニバッチSGDによるエンドツーエンド学習を可能にし、理論的一般化バウンドを伴って最先端の性能を達成する。

ABSTRACT

In classification models fairness can be ensured by solving a constrained optimization problem. We focus on fairness constraints like Disparate Impact, Demographic Parity, and Equalized Odds, which are non-decomposable and non-convex. Researchers define convex surrogates of the constraints and then apply convex optimization frameworks to obtain fair classifiers. Surrogates serve only as an upper bound to the actual constraints, and convexifying fairness constraints might be challenging. We propose a neural network-based framework, \emph{FNNC}, to achieve fairness while maintaining high accuracy in classification. The above fairness constraints are included in the loss using Lagrangian multipliers. We prove bounds on generalization errors for the constrained losses which asymptotically go to zero. The network is optimized using two-step mini-batch stochastic gradient descent. Our experiments show that FNNC performs as good as the state of the art, if not better. The experimental evidence supplements our theoretical guarantees. In summary, we have an automated solution to achieve fairness in classification, which is easily extendable to many fairness constraints.

研究の動機と目的

• 機械学習における凸サロゲートに基づく公平性制約の限界を解決すること。これは、元の非凸公平性測度を厳密にバウンドしない可能性があるためである。
• 手動でサロゲートを設計する必要のないエンドツーエンドのニューラルネットワークフレームワークを構築すること。
• 人口統計的同等性と等しいオッズの下で、公平性制約付き損失関数の理論的一般化バウンドを提供すること。
• 実験的に、このフレームワークが高い精度を維持しながら公平性制約を満たし、最先端の手法を上回るか同等の性能を発揮することを検証すること。
• F1スコアやQ-mean損失といった他の非凸的でバッチレベルの公平性測度への拡張可能性を示すこと。

提案手法

• ReLUおよびソフトマックス活性化関数を用いた2層のフィードフォワードニューラルネットワークで、重みとリプシッツ制約で束縛される。
• ラグランジュ乗数を用いて公平性制約（DP、DI、EO）を損失関数に埋め込み、学習中にそれらを強制する。
• 2段階のミニバッチ確率的勾配降下法によりモデルを学習し、各更新ステップでバッチレベルの公平性計算を可能にする。
• メトリックエントロピーおよび被覆数の議論を用いて一般化誤差バウンドを導出し、データサイズが増加するにつれて誤差が漸近的にゼロに収束することを示す。
• ミニバッチ内での微分可能な近似を用いて、凸サロゲートを避けて直接非凸公平性測度を最適化する。
• Q-mean損失などの他の非凸目的関数への拡張が可能であることが、アブレーション実験で示された。

実験結果

リサーチクエスチョン

• RQ1 凸サロゲートを必要とせずに、人口統計的同等性や等しいオッズといった非凸公平性制約を直接最適化できるニューラルネットワークフレームワークは存在するか？
• RQ2 人口統計的同等性（DP）および等しいオッズ（EO）の下で、公平性制約付きニューラルネットワーク学習の一般化誤差バウンドはどのように確立できるか？
• RQ3 なぜ差別的影響（Disparate Impact）はサロゲート制約を用いて近似するのが特に困難であり、理論的限界は何か？
• RQ4 提案されたFNNCフレームワークは、精度と公平性指標の両面で、最先端の公平性手法と同等またはそれ以上の性能を達成できるか？
• RQ5 公平性を超える他の非凸的でバッチレベルの最適化目的関数への、このフレームワークの拡張性はどの程度か？

主な発見

• FNNCは、ベンチマークデータセット全体で、公平性と精度のトレードオフにおいて最先端またはそれ以上の性能を達成し、サロゲートに基づく凸最適化手法を上回った。
• 公平性制約付き損失関数（DPおよびEO）の理論的一般化バウンドが導出され、データサイズが増加するにつれて誤差が漸近的にゼロに近づくことが示された。
• フレームワークは、差別的影響をサロゲート制約で近似することは本質的に不安定であることを示した。予測値のわずかな摂動が、制約推定値に無限大の誤差を引き起こす可能性がある。
• 実験結果から、FNNCが、グループ間の母数に顕著な差がある場合でも、高い予測精度を維持しながら公平性制約を満たしていることが確認された。
• この手法は、公平性以外の目的に対しても成功裏に拡張可能であり、例えば人口統計的同等性制約下でのQ-mean損失最小化にも適用可能で、広範な適用可能性を示した。
• 2段階のミニバッチSGDにより、バッチごとに公平性指標を計算できるため、効果的な最適化が可能となり、スケーラブルで実用的なフレームワークとなった。