[論文レビュー] A Comprehensive Empirical Study of Bias Mitigation Methods for Machine Learning Classifiers

Zhenpeng Chen, Jie M. Zhang+2 more|arXiv (Cornell University)|Jul 7, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本論文は、11の機械学習性能指標、4つの公平性指標、20の公平性-性能トレードオフ測定法を用いて、8つのベンチマークタスクにおいて17のバイアス緩和手法を大規模に実証評価している。その結果、バイアス緩和手法はしばしばモデル性能を低下させる（42–66％のシナリオ）、公平性を向上させるのは24–59％のケースにとどまり、公平性と性能の両方を損なうケースも25％にのぼり、どの文脈でも優れる単一の手法は存在しないことが判明した。

ABSTRACT

Software bias is an increasingly important operational concern for software engineers. We present a large-scale, comprehensive empirical study of 17 representative bias mitigation methods for Machine Learning (ML) classifiers, evaluated with 11 ML performance metrics (e.g., accuracy), 4 fairness metrics, and 20 types of fairness-performance trade-off assessment, applied to 8 widely-adopted software decision tasks. The empirical coverage is much more comprehensive, covering the largest numbers of bias mitigation methods, evaluation metrics, and fairness-performance trade-off measures compared to previous work on this important software property. We find that (1) the bias mitigation methods significantly decrease ML performance in 53% of the studied scenarios (ranging between 42%~66% according to different ML performance metrics); (2) the bias mitigation methods significantly improve fairness measured by the 4 used metrics in 46% of all the scenarios (ranging between 24%~59% according to different fairness metrics); (3) the bias mitigation methods even lead to decrease in both fairness and ML performance in 25% of the scenarios; (4) the effectiveness of the bias mitigation methods depends on tasks, models, the choice of protected attributes, and the set of metrics used to assess fairness and ML performance; (5) there is no bias mitigation method that can achieve the best trade-off in all the scenarios. The best method that we find outperforms other methods in 30% of the scenarios. Researchers and practitioners need to choose the bias mitigation method best suited to their intended application scenario(s).

研究の動機と目的

• 機械学習分類器におけるバイアス緩和手法の、大規模かつ包括的な実証的評価を提供すること。
• 多様なシナリオにおいて、バイアス緩和が公平性および機械学習性能に与える影響を評価すること。
• 特定の手法が成功または失敗する条件を、タスク、モデル、保護属性、評価指標の観点から同定すること。
• 既存手法の限界を明らかにし、特定の応用文脈に最適なバイアス緩和戦略の選定を支援すること。

提案手法

• 敵対的デバイアス、リウェイティング、リジェクトオプション分類、公平な表現学習を含む17の代表的バイアス緩和手法を評価した。
• 収入予測、刑事司法、信用リスク評価などの、広く採用されたソフトウェア意思決定タスク8つに、すべての手法を適用した。
• 精度、適合率、再現率、F1スコアなどの11の機械学習指標と、人口統計的均等性、同等の機会などの4つの公平性指標を用いて性能を測定した。
• 公平性-性能トレードオフの複雑なダイナミクスを捉えるために、20の異なる測定戦略を用いてトレードオフを評価した。
• 標準化されたベンチマークデータセットと制御された実験設定を用いて、再現可能性と比較可能性を確保した。
• 観察された性能および公平性の差異の有意性を検証するための統計的有意性検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 バイアス緩和手法は、異なる指標やタスクにおいて、機械学習性能にどのように影響を与えるか？
• RQ2 バイアス緩和手法はどの程度公平性を向上させるのか？ また、公平性指標やシナリオによってその効果はどのように変化するか？
• RQ3 バイアス緩和手法が公平性と機械学習性能の両方を低下させるケースは、何パーセントのシナリオにあたるか？
• RQ4 モデルの種類、保護属性、タスクなどの要因は、バイアス緩和手法の有効性にどのように影響するか？
• RQ5 すべてのシナリオにおいて、常に最良の公平性-性能トレードオフを達成するバイアス緩和手法は存在するか？

主な発見

• バイアス緩和手法は、使用する性能指標に応じて、42％から66％のシナリオで機械学習性能を顕著に低下させる。
• 公平性の向上は、使用する公平性指標に応じて24％から59％のシナリオで観察されたが、公平性の定義によって有効性が一貫しないことが示された。
• 25％のシナリオで、バイアス緩和手法が公平性と機械学習性能の両方を低下させ、潜在的なリスクを示している。
• バイアス緩和手法の有効性は、タスク、機械学習モデル、保護属性、評価指標の選択に強く依存する。
• すべてのシナリオで他の手法を上回る単一のバイアス緩和手法は存在せず、最も優れた手法は唯一30％のケースでのみ他を上回った。
• 結果として、万能な「銀の弾丸」的手法は存在せず、文脈に応じた緩和戦略の選定が不可欠であることが強調された。