[論文レビュー] Fairness-Aware Neural Réyni Minimization for Continuous Features

Vincent Grari, Boris Ruf+2 more|arXiv (Cornell University)|Nov 12, 2019

Adversarial Robustness in Machine Learning参考文献 29被引用数 8

ひとこと要約

本稿では、連続的な感受性属性を伴う回帰モデルにおける公平性を向上させるために、2つのニューラルネットワークベースの手法を提案する。これらの手法は、ヒルシュフェルト＝ゲーベライン＝レニー（HGR）相関係数の最小化によって実現される。最初の手法は、MINEにインspiredされたニューラル推定器を用いてχ²発散の上界を低減する。2番目の手法は、HGRを直接最小化するための敵対的アーキテクチャを用いる。両手法とも、実世界および合成データセットにおいて、FairQuantを含む先行研究を上回る最先端の公平性パフォーマンスを達成した。

ABSTRACT

The past few years have seen a dramatic rise of academic and societal interest in fair machine learning. While plenty of fair algorithms have been proposed recently to tackle this challenge for discrete variables, only a few ideas exist for continuous ones. The objective in this paper is to ensure some independence level between the outputs of regression models and any given continuous sensitive variables. For this purpose, we use the Hirschfeld-Gebelein-Rényi (HGR) maximal correlation coefficient as a fairness metric. We propose two approaches to minimize the HGR coefficient. First, by reducing an upper bound of the HGR with a neural network estimation of the $χ^{2}$ divergence. Second, by minimizing the HGR directly with an adversarial neural network architecture. The idea is to predict the output Y while minimizing the ability of an adversarial neural network to find the estimated transformations which are required to predict the HGR coefficient. We empirically assess and compare our approaches and demonstrate significant improvements on previously presented work in the field.

研究の動機と目的

• 感受性属性が連続的（例：年齢や収入）である回帰モデルにおける公平性を扱う。
• モデル出力と連続的感受性変数の間の依存関係を最小化する汎用的手法を開発する。
• 離散的または二値的感受性属性に焦点を当てた先行研究を改善する。
• 非線形依存関係を捉えることができるHGR相関に基づく公平性指標を導入する。
• 実世界および人工データセットを用いた厳密な公平性評価を通じて、提案手法の実証的妥当性を検証する。

提案手法

• MINEにインspiredされたニューラル推定器を用いて、モデル予測と連続的感受性属性の間のχ²発散の上界を推定・最小化するニューラルネットワークを用いる。
• 敵対的ニューラルネットワークアーキテクチャを採用し、識別器がHGR係数を予測する非線形変換を学習する一方で、主モデルはその予測能力を最小化するように訓練される。
• 2つの公平性損失関数を導入する：χ²発散推定に基づくもの（χ²-NN）と、敵対的訓練によってHGRを直接最小化するもの（Fair HGR NN）。
• 標準的なディープラーニングコンponents（Tanh活性化関数、Xavier初期化、ドロップアウト、MSE損失）を適用する。
• 訓練中にモデルの精度（MSE）と公平性目的をバランスさせるためのハイパーパrameter λ を使用する。
• 感受性属性の50分位数ごとに公平性を評価するという、推定バイアスを低減する目的で考案された新しい公平性指標、FairQuantを導入する。

実験結果

リサーチクエスチョン

• RQ1 χ²発散のニューラルネットワークベース推定が、モデル出力と連続的感受性属性の間の依存関係を効果的に低減できるか？
• RQ2 HGR係数の直接的な敵対的最小化は、間接的手法に比べて回帰モデルにおける公平性を向上させるか？
• RQ3 提案手法は、Mary2019のような既存のアプローチと比較して、公平性および予測精度の両面で優れているか？
• RQ4 データセットサイズが、χ² KDE や χ² NN といった公平性推定器の信頼性にどの程度影響を及えるか？
• RQ5 分位数別公平性に基づくFairQuant指標は、標準的なHGRやχ²推定に比べてより頑健な評価を提供できるか？

主な発見

• Fair HGR NNは、すべてのデータセットで精度と公平性のバランスが最も優れており、標準的なニューラルネットワークおよびMary2019ベースラインを上回った。
• 米国国勢調査データセットでは、Fair HGR NNが最小のFairQuantスコア（1.12）を記録し、デモグラフィックパリティの観点で優れた公平性を示した。
• 等しい残差の観点から見ても、Fair HGR NNは最小のFairQuant値（Crime：0.98、UC Census：1.02、Adult：1.05）を達成し、強力な公平性パフォーマンスを示した。
• χ²-NNアプローチはFair HGR NNよりわずかに劣ったが、特に大規模データセットではMary2019を上回った。
• 小規模なCrimeデータセット（2,000サンプル）では、χ² KDE と χ² NN の間に顕著な乖離が見られ、低データレジームにおける推定の不安定性が浮き彫りになった。
• MINEベースのアプローチは、公平性および精度の両面でFair HGR NN や χ²-NN よりも劣ったため、この実装における限界が示された。