[論文レビュー] Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking

Zichong Wang, Zhou Yang+2 more|arXiv (Cornell University)|Feb 16, 2023

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

本論文は CFSA を紹介する。これは反事実フェアネス（counterfactual fairness）フレームワークであり、偏ったデータを特定・除去して、MLモデルの公平性と性能を共同で向上させる。8つの実世界データセットと10のベンチマークタスクを横断して実証されている。84.6% のケースで最先端のベースラインを上回る。

ABSTRACT

The increasing use of Machine Learning (ML) software can lead to unfair and unethical decisions, thus fairness bugs in software are becoming a growing concern. Addressing these fairness bugs often involves sacrificing ML performance, such as accuracy. To address this issue, we present a novel counterfactual approach that uses counterfactual thinking to tackle the root causes of bias in ML software. In addition, our approach combines models optimized for both performance and fairness, resulting in an optimal solution in both aspects. We conducted a thorough evaluation of our approach on 10 benchmark tasks using a combination of 5 performance metrics, 3 fairness metrics, and 15 measurement scenarios, all applied to 8 real-world datasets. The conducted extensive evaluations show that the proposed method significantly improves the fairness of ML software while maintaining competitive performance, outperforming state-of-the-art solutions in 84.6% of overall cases based on a recent benchmarking tool.

研究の動機と目的

• パフォーマンスを犠牲にせず、MLソフトウェアにおける公平性の不具合への対処の必要性を動機づける。
• トレーニングデータに組み込まれた偏りを識別・除去する counterfactual fairness フレームワーク（CFSA）を提案する。
• バイアス認識モデルと精度志向モデルを組み合わせたアンサンブル学習を通じて、公平性と精度のバランスを取る。
• デバイアスとデータ拡張の過程でクラスバランスを保持する公正なデータ合成法を開発する。

提案手法

• 感受性属性の変化に基づくバイアスを評価するために、各インスタンスに対して counterfactual bias testing を定義する。
• Counterfactual Bias List (CBList) を構築し、モデルに偏りをもたらす潜在性に基づいて偏りのあるインスタンスをランキングする。
• We Are All Equal (WAE) 原則を満たすよう、上位の偏りインスタンスをアンダーサンプリングして偏りのある表現を調整する。
• counterfactual fairness 基準を満たさないインスタンスを除去してラベリングの偏りを是正し、必要に応じてデータを合成する。
• 感受性属性とクラスでクラスタリングする公正な合成手法を導入し、その後サブグループ内でクラスタリングして、均衡な新しいサンプルを生成する。
• 元データ上で精度志向モデルを訓練し、デバイアスデータ上で公正性指向モデルを訓練し、次に重み付き平均で予測をアンサンブルする。

Figure 1. All datasets exhibit an imbalanced distribution concerning the sensitive attribute and class label.

実験結果

リサーチクエスチョン

• RQ1 counterfactual thinking を用いて偏った学習インスタンスを特定し、ランク付けするにはどうすればよいか？
• RQ2 Counterfactual Bias List によるデバイアス除去は、パフォーマンスを犠牲にせず公正性を向上させることができるか？
• RQ3 公正性指向モデルと精度志向モデルをアンサンブルで組み合わせることは、公平性と精度のトレードオフを改善するか？
• RQ4 公正なデータ合成は、クラスバランスを保持しつつ公正性を高める上でどれほど効果的か？

主な発見

• CFSA は CBTest と CBList を用いて偏ったデータを識別し、全体の 84.6% のケースで最先端のベースラインを上回る。
• CFSA は 8つの実世界データセットと 10のベンチマークタスクにおいて、競争力のある性能を維持しつつ公正性を向上させる。
• このアプローチはモデルに依存せず、複数のモデルタイプとバイアス種別（人種、性別、年齢）に対して効果的である。
• 公正性指向モデルと精度志向モデルの出力をアンサンブルすることで、MAATスタイルのアンサンブルよりも公正性と精度のトレードオフを改善できる。
• 公正なデータ合成はクラスバランスを維持するのに役立ち、訓練に取り入れると公正性と性能をさらに向上させる。

Figure 2. The overall framework of CFSA: (a) Biased dataset; (b) Counterfactual fairness test; (c) Debiased dataset; (d) Fairness-oriented training; (e) Performance-driven training; (f) Ensemble prediction.