[論文レビュー] Addressing Fairness in Classification with a Model-Agnostic Multi-Objective Algorithm

Kirtan Padh, Diego Antognini+3 more|arXiv (Cornell University)|Sep 9, 2020

Ethics and Social Impacts of AI参考文献 26被引用数 6

ひとこと要約

本稿では、統計的同等性に基づく公平性の概念をよりよく近似するため、双曲正弦関数を用いたモデルに依存しない微分可能で公平性の緩和手法を提案するとともに、複数の公平性指標および感受性属性を同時に最適化する多目的最適化フレームワークを組み合わせている。実験の結果、4つの実世界のデータセットにおいて、最先端の手法と比較して顕著に低い精度損失で優れた公平性を達成している。

ABSTRACT

The goal of fairness in classification is to learn a classifier that does not discriminate against groups of individuals based on sensitive attributes, such as race and gender. One approach to designing fair algorithms is to use relaxations of fairness notions as regularization terms or in a constrained optimization problem. We observe that the hyperbolic tangent function can approximate the indicator function. We leverage this property to define a differentiable relaxation that approximates fairness notions provably better than existing relaxations. In addition, we propose a model-agnostic multi-objective architecture that can simultaneously optimize for multiple fairness notions and multiple sensitive attributes and supports all statistical parity-based notions of fairness. We use our relaxation with the multi-objective architecture to learn fair classifiers. Experiments on public datasets show that our method suffers a significantly lower loss of accuracy than current debiasing algorithms relative to the unconstrained model.

研究の動機と目的

• 複数の公平性指標や感受性属性を同時に最適化する多目的公平性最適化の分野におけるギャップを埋めること。既存の手法は単一の公平性概念や属性に限定されている。
• 双曲正弦関数を用いた新しい微分可能な緩和手法を提案し、真の公平性値の近似を向上させること。
• 複数の公平性指標および感受性属性を同時に最適化できる、モデルに依存しない勾配ベースの多目的アルゴリズムを開発すること。
• 提案手法が現在の最先端のバイアス除去アルゴリズムと比較して、公平性と精度のトレードオフをより良く達成することを実証的に検証すること。
• 人種や性別などの複数の感受性属性と、デモグラフィックパリティや機会の平等性といった複数の公平性概念を同時にバイアス除去できるかを示すこと。

提案手法

• 双曲正弦関数を用いた公平性指標の微分可能な緩和を提案し、これは既存の緩和手法よりも真の公平性値をより正確に近似できることを理論的に示している。
• 勾配ベースの最適化を用いて、精度と複数の公平性目的を同時に最適化するモデルに依存しない多目的アーキテクチャを導入している。
• 損失関数に公平性目的の重み付き和を採用し、ハイパーパrameter（例：λ）を用いて公平性と精度のトレードオフを制御している。
• 人種や性別などの複数の感受性属性にわたって、デモグラフィックパリティ（DP）や機会の平等性（EOP）を含む、すべての統計的同等性に基づく公平性概念をサポートしている。
• 公平性の緩和を目的関数内の微分可能な項として埋め込む制約付き最適化フレームワークを採用しており、エンドツーエンドの学習を可能にしている。
• Compas や Adult などのデータセットで、人種と性別の両方のバイアス除去を同時に実行する単一および多目的の公平性設定に本手法を適用している。

実験結果

リサーチクエスチョン

• RQ1 双曲正弦関数に基づく微分可能な緩和は、既存の緩和手法と比較して真の公平性値をより正確に近似できるか？
• RQ2 モデルに依存しない多目的最適化フレームワークは、一度の学習プロセスで複数の公平性指標と感受性属性を効果的にバランスさせられるか？
• RQ3 提案手法は、実世界のデータセットにおいて、最先端のバイアス除去アルゴリズムと比較して、より優れた公平性-精度のトレードオフを達成できるか？
• RQ4 本手法は、人種や性別などの複数の感受性属性と、デモグラフィックパリティや機会の平等性といった複数の公平性概念を同時にバイアス除去する際、どのように性能を発揮するか？
• RQ5 特に、対立する公平性指標（例：デモグラフィックパリティと機会の平等性）の間で生じる本質的なトレードオフを、どの程度軽減できるか？

主な発見

• 双曲正弦関数を用いた本手法の緩和は、既存の緩和手法と比較して真の公平性値をより正確に近似できることを理論的に示しており、より正確な公平性最適化が可能である。
• Adult および Compas データセットにおいて、S-MAMO-fair モデルは、すべてのベースラインと比較して最小の精度損失を達成しながら、公平性性能を維持または向上させた。
• Compas データセットでは、M-MAMO-fair モデルが公平性損失（HV）0.61 ± 0.01、デモグラフィックパリティ損失（SP）0.21 ± 0.09 を達成し、制約なしのモデルやベースラインと比べて顕著に優れた性能を示した。
• Adult データセットでは、M-MAMO-fair モデルが公平性損失（HV）0.60 ± 0.09、デモグラフィックパリティ損失（SP）0.04 ± 0.02 を達成し、両指標において優れた性能を示した。
• 多目的公平性アルゴリズムは、半数のケースで単一公平性ベースラインを上回り、特に Adult および CelebA では、既存の手法と比較して高い精度と公平性を達成した。
• 本手法は、対立する公平性制約を効果的に処理でき、Compas データセットの事例では機会の平等性では良好な性能を示したが、デモグラフィックパリティでは達成できなかった—これは既知の不可能性結果と整合的である。