[論文レビュー] Blackbox Post-Processing for Multiclass Fairness

Preston Putzel, Scott Lee|arXiv (Cornell University)|Jan 12, 2022

Ethics and Social Impacts of AI被引用数 11

ひとこと要約

本稿は、Hardtら（2016）の後処理フェアネスフレームワークを、条件付き補正確率の線形計画法として定式化することにより、多クラス分類に拡張する。フェアネスを確保しながら精度損失を最小限に抑える。十分なデータサイズがある場合、本手法はわずかな精度低下で高いフェアネスを達成するが、小規模なデータセットや強いクラス不均衡下では性能が低下する。

ABSTRACT

Applying standard machine learning approaches for classification can produce unequal results across different demographic groups. When then used in real-world settings, these inequities can have negative societal impacts. This has motivated the development of various approaches to fair classification with machine learning models in recent years. In this paper, we consider the problem of modifying the predictions of a blackbox machine learning classifier in order to achieve fairness in a multiclass setting. To accomplish this, we extend the 'post-processing' approach in Hardt et al. 2016, which focuses on fairness for binary classification, to the setting of fair multiclass classification. We explore when our approach produces both fair and accurate predictions through systematic synthetic experiments and also evaluate discrimination-fairness tradeoffs on several publicly available real-world application datasets. We find that overall, our approach produces minor drops in accuracy and enforces fairness when the number of individuals in the dataset is high relative to the number of classes and protected groups.

研究の動機と目的

• 偏りのあるモデルが保護されるべきデモグラフィックグループに不利をもたらす可能性のある多クラス機械学習予測におけるフェアネスを扱う。
• 内部パラメータを変更せずに、事前に訓練されたブラックボックス分類器の予測を修正する後処理手法を開発する。
• 複数のクラスと保護される属性において、予測精度を維持したままフェアネスを確保する。
• 後処理が有効である条件、特にデータセットサイズとクラス不均衡の観点から調査する。
• フェアネス-精度トレードオフおよびサンプル外の頑健性を評価するために、合成データおよび実世界のデータセット上で手法を評価する。

提案手法

• 保護される属性 $A$ とブラックボックス分類器の出力 $\hat{Y}$ を入力として、調整済み予測 $Y^{\text{adj}}$ を確率的関数として定式化し、条件付き確率 $\text{Pr}(Y^\text{adj} = y^\text{adj} \mid \hat{Y} = \hat{y}, A = a)$ を用いる。
• 保護される属性固有の混同行列 $\mathbf{P}^a = \text{Pr}(Y^\text{adj} \mid \hat{Y}, A = a)$ における線形計画法を構築し、フェアネス制約を満たす。
• 期待損失を最小化する線形目的関数を用い、重みなしのゼロ-ワン損失または $1/\text{Pr}(Y = y, A = a)$ をベースにした重み付き損失をオプションとして提供し、代表されないグループでの誤りに対してより高いペナルティを与える。
• 元の分類器の混同行列 $\mathbf{Z}^a = \text{Pr}(\hat{Y} \mid Y, A = a)$ をデータから経験的に推定することで、$\mathbf{P}^a$ における線形性を維持する。
• 等しいオッズや処遇の平等といった制約を用いてフェアネスを強制し、真のラベルが与えられたもとで予測が保護される属性から条件付き独立であることを保証する。
• 得られた線形計画問題を解き、フェアネス基準を満たす一方で精度の劣化を最小限に抑えた調整済み予測を取得する。

実験結果

リサーチクエスチョン

• RQ1 多クラス後処理がフェアで正確な予測を生み出すデータ環境はどのようなものか？
• RQ2 個体数がクラス数や保護されるグループ数に比べて少ない場合、後処理手法の性能はどの程度劣化するか？
• RQ3 有限サンプリングのばらつきが、サンプル外データにおけるフェアネスの強制にどの程度影響を及えるか？
• RQ4 クラス不均衡と元のブラックボックスモデルにおける予測バイアスは、後処理の有効性にどの程度影響を及えるか？
• RQ5 実世界の多クラス応用において、フェアネスと精度のトレードオフはどのようなものか？

主な発見

• 大規模データセット（例：バー合格データセット、$N = 22,406$）では、本手法によりフェアネスの不均衡が95％削減され、厳密なフェアネス基準下でもBrierスコアの損失はたった7.5パーセンテージポイントにとどまった。
• 小規模データセット（例：肥満度データセット、$N = 1,490$、$|C| = 5$）では、交差検証下で後処理後のTDRが46％低下し、有限サンプリングに起因する顕著な性能劣化が示された。
• 薬物使用データセットでは、後処理後にサンプル外のフェアネス不均衡が2倍に増加し、一般化におけるバイアスの増大の可能性を示唆した。
• 本手法は、すべてのデータセットにおいて、線形計画法による強制により、サンプル内データではほぼゼロの不均衡を達成したが、サンプル外では完全に不均衡が解消されたわけではない。
• 強いクラス不均衡とマイノリティグループにおける高い予測バイアスがある状況で、性能劣化が最も顕著であり、調整済み予測器はしばしばランダムチョイスに近い性能を示した。
• ブラックボックスモデルがすでに中程度のフェアネスを達成しており、データセットが大規模な場合には、本手法は効果的かつ効率的であり、精度損失は最小限に抑えられ、フェアネスの強制も強く実現できる。