[論文レビュー] Towards A Holistic View of Bias in Machine Learning: Bridging Algorithmic Fairness and Imbalanced Learning

Damien Dablain, Bartosz Krawczyk+1 more|arXiv (Cornell University)|Jul 13, 2022

Artificial Intelligence in Law被引用数 9

ひとこと要約

本稿では、公平性を保持しながら合成サンプルを生成することで、機械学習におけるクラス不均衡と保護群の不均衡の両方を同時に解消する新規前処理手法であるFair Oversamplingを提案する。この手法は、新たな評価指標であるFair Utilityを用いて検証され、モデルの精度と公平性の両方を向上させ、公平性に配慮したアルゴリズムと組み合わせても頑健性を示す。

ABSTRACT

Machine learning (ML) is playing an increasingly important role in rendering decisions that affect a broad range of groups in society. ML models inform decisions in criminal justice, the extension of credit in banking, and the hiring practices of corporations. This posits the requirement of model fairness, which holds that automated decisions should be equitable with respect to protected features (e.g., gender, race, or age) that are often under-represented in the data. We postulate that this problem of under-representation has a corollary to the problem of imbalanced data learning. This class imbalance is often reflected in both classes and protected features. For example, one class (those receiving credit) may be over-represented with respect to another class (those not receiving credit) and a particular group (females) may be under-represented with respect to another group (males). A key element in achieving algorithmic fairness with respect to protected groups is the simultaneous reduction of class and protected group imbalance in the underlying training data, which facilitates increases in both model accuracy and fairness. We discuss the importance of bridging imbalanced learning and group fairness by showing how key concepts in these fields overlap and complement each other; and propose a novel oversampling algorithm, Fair Oversampling, that addresses both skewed class distributions and protected features. Our method: (i) can be used as an efficient pre-processing algorithm for standard ML algorithms to jointly address imbalance and group equity; and (ii) can be combined with fairness-aware learning algorithms to improve their robustness to varying levels of class imbalance. Additionally, we take a step toward bridging the gap between fairness and imbalanced learning with a new metric, Fair Utility, that combines balanced accuracy with fairness.

研究の動機と目的

• 機械学習データセットにおけるクラス不均衡と保護群の下位代表の二重の課題に対処すること。
• データ不均衡が両者の共通の根拠であることを特定することで、アルゴリズム的公平性と不均衡学習を橋渡しすること。
• 両方の不均衡を同時に軽減する前処理手法を開発し、公平性と精度を向上させること。
• バランス化された正解率とグループ公平性指標（例：等しい機会差）を組み合わせた新しい評価指標、Fair Utilityを提案すること。
• 提案されたオーバースマッピング手法を統合することで、公平性に配慮した学習アルゴリズムの頑健性を高めること。

提案手法

• クラスと保護群の分布を両方バランスさせる新しいオーバースマッピングアルゴリズムであるFair Oversamplingを設計する。
• 保護属性（例：性別、人種）を考慮して合成サンプルを生成することで、サンプリングプロセスに公平性制約を統合する。
• 距離に基づくアプローチを用いて、マイノリティのインスタンスの周辺に新しいサンプルを生成し、多様性と代表性を確保する。
• 標準的な機械学習アルゴリズムと組み合わせ、前処理ステップとしてFair Oversamplingを統合し、公平性と精度を向上させる。
• Fair Oversamplingを公平性に配慮した学習アルゴリズムと統合し、さまざまなレベルのクラス不均衡下でもその頑健性を高める。
• バランス化された正解率とグループ公平性（例：等しい機会差）を組み合わせた複合指標であるFair Utilityを導入し、包括的なモデル評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡と保護群不均衡を、1つの前処理フレームワーク内で同時にどのように解決できるか？
• RQ2 データ不均衡を軽減することで、分類タスクにおけるモデルの精度と公平性がどの程度向上するか？
• RQ3 1つのオーバースマッピング手法が、モデル性能を低下させることなく公平性を効果的に向上させられるか？
• RQ4 Fair Oversamplingは、さまざまなレベルのクラス不均衡下で、公平性に配慮した学習アルゴリズムの頑健性をどのように向上させるか？
• RQ5 Fair Utilityのような統合的指標は、不均衡で偏ったデータセットにおける精度と公平性のトレードオフを効果的に捉えることができるか？

主な発見

• Fair Oversamplingは、複数のベンチマークデータセットにおいて、バランス化された正解率と公平性指標の両方を顕著に向上させた。
• 提案されたFair Utility指標は、精度と公平性のトレードオフを効果的に捉えており、より包括的なモデル評価を可能にした。
• Fair Oversamplingを公平性に配慮した学習アルゴリズムと組み合わせることで、特にリソースが限られた保護群において、その頑健性が向上した。
• 既存の前処理およびインプロセッシングの公平性技術と比較して、Fair Oversamplingは、公平性と精度の両面で最先端の性能を達成した。
• GitHub上のオープンソース実装により、再現性が確保され、公平性および不均衡学習分野におけるさらなる研究を促進した。
• 実験結果から、前処理段階でのデータ不均衡の軽減が、公平性とモデル一般化性能の両面で顕著な向上をもたらすことが明らかになった。