[論文レビュー] FIFA: Making Fairness More Generalizable in Classifiers Trained on Imbalanced Data

Zhun Deng, Jiayao Zhang+5 more|arXiv (Cornell University)|Jun 6, 2022

Retirement, Disability, and Employment被引用数 7

ひとこと要約

本稿では、ロジットに基づく損失関数を用いて、クラスおよびサブグループに依存するマージンを強制することで、不均衡データセットで訓練された分類器における公平性一般化を向上させる、柔軟で理論的裏付けのあるFIFA（Imbalance-Fairness-Aware）を提案する。この手法は、さまざまなモデルやデータセット（CelebAにおけるResNet-18、AdultIncomeおよびDutchConsensusにおけるロジスティック回帰など）において、訓練時とテスト時の公平性違反ギャップを顕著に低減する。

ABSTRACT

Algorithmic fairness plays an important role in machine learning and imposing fairness constraints during learning is a common approach. However, many datasets are imbalanced in certain label classes (e.g. "healthy") and sensitive subgroups (e.g. "older patients"). Empirically, this imbalance leads to a lack of generalizability not only of classification, but also of fairness properties, especially in over-parameterized models. For example, fairness-aware training may ensure equalized odds (EO) on the training data, but EO is far from being satisfied on new users. In this paper, we propose a theoretically-principled, yet Flexible approach that is Imbalance-Fairness-Aware (FIFA). Specifically, FIFA encourages both classification and fairness generalization and can be flexibly combined with many existing fair learning methods with logits-based losses. While our main focus is on EO, FIFA can be directly applied to achieve equalized opportunity (EqOpt); and under certain conditions, it can also be applied to other fairness notions. We demonstrate the power of FIFA by combining it with a popular fair classification algorithm, and the resulting algorithm achieves significantly better fairness generalization on several real-world datasets.

研究の動機と目的

• 過パラメータ化されたモデルが不均衡データで訓練される際、等しいオッズ（EO）のような公平性制約が訓練からテストに一般化されないという、公平性一般化における重要なギャップを解消すること。
• 特にマイノリティのサブグループやレアクラスに対して、分類性能と公平性一般化の両方を向上させる手法を開発すること。
• ロジットに基づく損失関数を用いる既存の公平学習手法と互換性がある、柔軟で即席に組み込めるフレームワークを設計すること。
• 分類性能を犠牲にすることなく、公平性一般化が顕著に向上することを実証的に検証すること。
• マージンに基づく分析を通じて理論的裏付けを提供し、サブグループ固有の正則化が公平性一般化誤差を低減することを示すこと。

提案手法

• FIFAは、ロジットにクラスおよびサブグループに依存するマージンペナルティを適用する修正された損失関数を導入し、代表されないグループのマージンを拡大する。
• 各サブグループとラベルクラスごとに微分可能で学習可能なマージン調整を用い、softmax交差エントロピー損失の前段でロジットをスケーリングするパラメータδ_{y,a}を定義する。
• 標準的な分類損失と公平性違反損失（例：等しいオッズのためのもの）を組み合わせ、バランスの取れた目的関数L_combined = α·L_bal + β·L_fvを形成する。
• ソフトマージン損失など、ロジット上で動作する任意の公平学習手法と互換性があり、既存のフレームワークへの統合を可能にする。
• テスト性能を最適化するために、ε（公平性違反の許容誤差）およびδ（マージン調整）のハイパーパrameterをグリッドサーチで調整する。
• 本手法は、深層ネットワーク（例：ResNet-18）および単純なモデル（例：ロジスティック回帰）の両方へ適用可能であり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたモデルが不均衡データで訓練される際、公平性制約が一般化されない状況において、公平性一般化を顕著に改善できるか？
• RQ2 ロジットにサブグループ固有のマージン調整を適用することで、分類精度を損なうことなく公平性一般化が向上するか？
• RQ3 さまざまなデータセットおよびモデルアーキテクチャにおいて、FIFAはvanilla学習および既存の公平学習手法と比較して、公平性一般化において優れているか？
• RQ4 FIFAは、ロジットに基づく損失関数を用いる既存の公平学習フレームワークと、どの程度柔軟に組み合わせられるか？
• RQ5 現実の不均衡データセットにおいて、公平性一般化の理論的マージン分析が実証的に成立するか？

主な発見

• CelebAデータセットとResNet-18を用いた実験では、FIFAはvanilla学習と比較して、公平性一般化ギャップ（テストEO違反－訓練EO違反）を60％以上低減した。
• AdultIncomeデータセットとロジスティック回帰を用いた実験では、ε=0.01の条件下でFIFAは4.35％のテスト公平性違反を達成したのに対し、vanilla手法では4.43％であった。一貫した改善が確認された。
• DutchConsensusデータセットでも、FIFAはvanilla手法の4.43％から4.35％にテスト公平性違反を低減し、小さなデータセットに対しても有効であることを示した。
• 公平性とバランス損失のパレートフロンティアは、FIFAの下ではvanilla学習と比較して顕著に低く、かつ中心に寄っていることから、精度と公平性のトレードオフがより良好であることが示された。
• AdultIncomeおよびDutchConsensusの両方で、εの3つの値（0.01、0.05、0.10）において、FIFAはテスト結合損失が常に低く抑えられ、vanilla学習を上回った。
• 分類一般化性能は保持されており、テスト誤差は低く保たれていた（例：AdultIncomeではFIFAが13.5％、vanillaが14.3％）。性能のトレードオフがないことが確認された。