[論文レビュー] Evaluating Fairness Metrics in the Presence of Dataset Bias

J. Henry Hinnefeld, Peter Cooman+2 more|arXiv (Cornell University)|Sep 24, 2018

Ethics and Social Impacts of AI参考文献 14被引用数 13

ひとこと要約

この論文は、データセットバイアスの存在下で6つの公平性メトリクスを評価し、バイアス検出を因果推論の問題として定式化する。どのメトリクスも普遍的にバイアスを検出できるわけではない。感度はバイアスの種別（サンプリングバイアス vs. ラベルバイアス）によって異なる。また、多くのメトリクスはバイアスと正当なグランドトゥルースの不均衡を区別できず、公平性に対する誤った自信を生じさせる。

ABSTRACT

Data-driven algorithms play a large role in decision making across a variety of industries. Increasingly, these algorithms are being used to make decisions that have significant ramifications for people's social and economic well-being, e.g. in sentencing, loan approval, and policing. Amid the proliferation of such systems there is a growing concern about their potential discriminatory impact. In particular, machine learning systems which are trained on biased data have the potential to learn and perpetuate those biases. A central challenge for practitioners is thus to determine whether their models display discriminatory bias. Here we present a case study in which we frame the issue of bias detection as a causal inference problem with observational data. We enumerate two main causes of bias, sampling bias and label bias, and we investigate the abilities of six different fairness metrics to detect each bias type. Based on these investigations, we propose a set of best practice guidelines to select the fairness metric that is most likely to detect bias if it is present. Additionally, we aim to identify the conditions in which certain fairness metrics may fail to detect bias and instead give practitioners a false belief that their biased model is making fair decisions.

研究の動機と目的

• 人工的なサンプリングバイアスおよびラベルバイアスを含むデータセットで学習された機械学習モデルにおけるバイアス検出において、異なる公平性メトリクスの性能を調査すること。
• グランドトゥルースの陽性率が保護群間で異なる場合に、公平性メトリクスがバイアスを検出できない条件を同定し、モデルの公平性に対する誤った自信を生じさせること。
• バイアスの因果的起源とグランドトゥルースの不均衡に基づいて、公平性メトリクスの選定に関するベストプラクティスを提示すること。
• グランドトゥルース陽性率の差が、公平性メトリクスの結果解釈において果たす重要な役割を強調すること。
• 観測データを用いて、公平性評価を因果推論の問題として定式化し、ドメインに配慮した解釈の必要性を強調すること。

提案手法

• 研究では、制御された人工バイアスを含む4つの合成データセットを構築：サンプリングバイアスを含むものが2つ、ラベルバイアスを含むものが2つ、バイアスのないベースラインが1つ。
• 6つの公平性メトリクスを適用：Meanの差、残差の差、同等機会、同等の誤り機会、差別的インパクト、正規化相互情報量。
• 2つの条件下で実験を実施：グランドトゥルース陽性率が等しい（実験A）、グランドトゥルース陽性率が不均衡な（実験B）。
• 各データセット間での結果比較を通じて、各メトリクスのサンプリングバイアスとラベルバイアスへの感受性を評価。
• 公平性評価を因果推論の問題として扱い、バイアスの起源についての不確実性下でのメトリクスの信頼性を観測データを用いて評価。
• 観察されたメトリクスの行動、特にグランドトゥルースの不均衡とバイアスの種別との関係から、ベストプラクティスを導出。

実験結果

リサーチクエスチョン

• RQ1 異なる公平性メトリクスは、機械学習モデルにおけるサンプリングバイアスとラベルバイアスの検出において、どのように性能を発揮するか？
• RQ2 グランドトゥルース陽性率が保護群間で異なる場合、公平性メトリクスがどれほどバイアスを検出できなくなるか？
• RQ3 グランドトゥルースの不均衡が存在する状況で、どの公平性メトリクスがラベルバイアスに対して最も感受性を示すか？
• RQ4 外部のグランドトゥルースが存在しない状況で、公平性メトリクスの選択がモデルの公平性解釈にどのように影響するか？
• RQ5 どのような条件下で公平性メトリクスが誤った結果を生じさせ、誤った公平性の感覚を生じさせるか？

主な発見

• 差の残差を除くすべての公平性メトリクスが、実験Aにおいてバイアスのないデータセット1を最小バイアスであると正しく同定した。
• 差の残差はラベルバイアスに対してより感受性が高く、同等の誤り機会はサンプリングバイアスに対してより感受性が高かった。
• 実験Bでは、差の残差を除くすべてのメトリクスが、意図的にバイアスのないがグランドトゥルースを反映したデータセット1に顕著なバイアスを検出した。
• グランドトゥルース陽性率が不均衡な場合、多くのメトリクスがラベルバイアスに対してほとんど感受性を示さず、このようなバイアスを検出する際の重大な限界を示している。
• 差別的インパクトは、グランドトゥルースが不均衡な状況では特に不適切であることが判明した。これは、公平なモデルを誤って不平等とマークしてしまう可能性がある。
• 正規化相互情報量は、不均衡な状況下でのサンプリングバイアス検出において強く候補となり、この文脈で他のメトリクスを上回った。