[論文レビュー] A survey of bias in Machine Learning through the prism of Statistical Parity for the Adult Data Set

Philippe Besse, Eustasio del Barrio+3 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Causal Inference Techniques参考文献 34被引用数 9

ひとこと要約

この論文は、Adult Incomeデータセットにおける統計的同等性を用いて機械学習におけるバイアスを調査し、不正影響（Disparate Impact）指標を通じて公平性を評価している。直感的な手法（グループごとに別々のモデルを学習）は失敗することが示され、一方でポジティブディスクラミネーション戦略は一般化性能を損なわずにバイアスを低減できることが明らかになった。これは、バイアスを含む訓練データにおいて公平性を達成する複雑さを強調している。

ABSTRACT

Applications based on Machine Learning models have now become an indispensable part of the everyday life and the professional world. A critical question then recently arised among the population: Do algorithmic decisions convey any type of discrimination against specific groups of population or minorities? In this paper, we show the importance of understanding how a bias can be introduced into automatic decisions. We first present a mathematical framework for the fair learning problem, specifically in the binary classification setting. We then propose to quantify the presence of bias by using the standard Disparate Impact index on the real and well-known Adult income data set. Finally, we check the performance of different approaches aiming to reduce the bias in binary classification outcomes. Importantly, we show that some intuitive methods are ineffective. This sheds light on the fact trying to make fair machine learning models may be a particularly challenging task, in particular when the training observations contain a bias.

研究の動機と目的

• 訓練データからのバイアスが二値分類におけるアルゴリズムの公平性に与える影響を分析すること。
• 有名なAdult Incomeデータセットを用いて、不正影響インデックスを用いてバイアスを定量化すること。
• グループレベルの差別を低減するためのさまざまな公平性緩和戦略の有効性を評価すること。
• 訓練データが不均衡な場合、一般的に公平であると想定される手法が実際には効果を発揮しないことの実証。
• 精度以外の公平性指標をモデル評価に統合する重要性を強調すること。

提案手法

• 研究では、公平性研究の標準ベンチマークとして用いられるAdult Incomeデータセットを用い、年齢、教育、性別などの特徴量を含む。
• 統計的同等性は、保護されたグループと非保護グループ間の有利な結果の比率として定義される不正影響（DI）インデックスを用いて評価される。
• DI指標の信頼区間を推定するために、直接計算とブートストラップリサンプリングの両方を用いて公平性を評価した。
• 2つの緩和戦略をテストした：別々の処理（グループごとに別々のモデルを学習）とポジティブディスクラミネーション（グループごとに異なる意思決定閾値を適用）。
• 真陽性率および真陰性率に加え、分類精度と両グループにおける公平性指標を用いて性能を評価した。
• バイアスの伝搬を評価するため、ロジスティック回帰などの標準モデルを含む複数のアルゴリズムを比較分析した。

実験結果

リサーチクエスチョン

• RQ1 不正影響インデックスは、Adult Incomeデータセットにおけるバイアスをどのように定量化するか？
• RQ2 訓練データから感受性属性（例：性別）を削除すると、公平性にどのような影響が生じるか？
• RQ3 グループごとの別々のモデルを学習することでバイアスを効果的に低減できるか？また、モデルの性能に悪影響を及えるか？
• RQ4 グループごとに異なる意思決定ルールを適用するポジティブディスクラミネーションは、より公平な結果をもたらすか？
• RQ5 訓練データが不均衡な場合、なぜ対応する反事後的要因に基づく公平性テスト手法はグループレベルのバイアスを検出できないのか？

主な発見

• 元のAdultデータセットには顕著なバイアスが存在し、性別グループ間での有利な結果の差異を示す不正影響値が強く、顕著な不均衡を示している。
• 訓練データから感受性属性を削除してもバイアスは解消されない。他の特徴量との相関が依然として差別的結果を生じる。
• 別々の処理戦略（グループごとの別々のモデル学習）はバイアス低減に失敗し、データの不均衡のため不公平性が増大する傾向がある。
• 意思決定閾値をグループごとに調整するポジティブディスクラミネーション戦略は、良好な一般化性能を維持しながらバイアスを効果的に低減した。
• ロジスティック回帰のような単純なモデルですら、誤った相関関係により性別バイアスを伝搬する可能性があるため、解釈可能性が公平性を保証するわけではない。
• 訓練データが不均衡な場合、反事後的要因に基づくテスト手法はグループレベルのバイアスを検出できない。これは、統計的公平性指標の導入の重要性を強調している。