[論文レビュー] Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved

Jiahao Chen, Nathan Kallus+3 more|arXiv (Cornell University)|Nov 27, 2018

Ethics and Social Impacts of AI参考文献 18被引用数 17

ひとこと要約

この論文は、被保護集団の所属（例：人種）が観測されず、ベイジアン・イノヴェイテッド・サーネーム・ジオコーディング（BISG）のようなプロキシモデルを用いて推定される状況における公平性評価におけるバイアスを分析する。閾値ベースの推定は、地理的間および地理的内でのバイアスの複雑な相互作用のため、差別の的格差を過大評価する。一方、重み付き推定器は、地理的内での結果のばらつきという、単一で解釈可能なバイアス要因に依存しており、格差を低く評価する。重み付き推定器はバイアスの推論を危かにし、閾値の選択に対してより頑健である。

ABSTRACT

Assessing the fairness of a decision making system with respect to a protected class, such as gender or race, is challenging when class membership labels are unavailable. Probabilistic models for predicting the protected class based on observable proxies, such as surname and geolocation for race, are sometimes used to impute these missing labels for compliance assessments. Empirically, these methods are observed to exaggerate disparities, but the reason why is unknown. In this paper, we decompose the biases in estimating outcome disparity via threshold-based imputation into multiple interpretable bias sources, allowing us to explain when over- or underestimation occurs. We also propose an alternative weighted estimator that uses soft classification, and show that its bias arises simply from the conditional covariance of the outcome with the true class membership. Finally, we illustrate our results with numerical simulations and a public dataset of mortgage applications, using geolocation as a proxy for race. We confirm that the bias of threshold-based imputation is generally upward, but its magnitude varies strongly with the threshold chosen. Our new weighted estimator tends to have a negative bias that is much simpler to analyze and reason about.

研究の動機と目的

• BISGのようなプロキシモデルを用いて被保護集団の所属を閾値ベースで推定する方法が、なぜ人種的格差を過大評価するのかを理解すること。
• 被保護集団ラベルが欠落している状況で、確率的プロキシを用いて推定された結果の格差推定におけるバイアスの原因を分解すること。
• プロキシモデルからの不確実性を最終的な公平性推定に組み込む重み付き推定器を提案・分析すること。
• 重み付き推定器のバイアスが、単一で解釈可能な要因に起因することを示すこと：すなわち、各地理的場所における真の集団所属との結果の条件付き共分散。
• 被保護集団ラベルが観測不可能な状況における公平性評価において、閾値ベースの推定よりも重み付き推定器を用いる理論的・実証的根拠を提供すること。

提案手法

• 論文は、プロキシモデル（例：BISG）の確率閾値に基づいて個人を被保護集団に割り当てる閾値ベースの推定器を導入し、これらの推定ラベルを用いて格差を計算する。
• 閾値ベース推定器のバイアスを2つの成分に理論的に分解する：全人口の集計地域（Census Tract）間の差異（地理的間の変動）と、各集計地域内での差異（地理的内での変動）である。
• プロキシモデルの事後確率を重みとして使用する重み付き推定器を提案し、ハードな閾値を避ける。
• 重み付き推定器のバイアスが、各地理的場所における真の集団所属との結果の条件付き共分散（すなわち、集計地域内での変動）にのみ依存することを解析的に示す。
• 理論的結果は、数値シミュレーションと、人種のプロキシとしての位置情報を利用した公開のHMDA住宅融資データセットを用いて検証される。
• 論文は定理3.1を用いて、重み付き推定器のバイアスが、結果が優位集団と正の相関を示し、劣位集団と負の相関を示す集計地域の分布に依存することを示している。

実験結果

リサーチクエスチョン

• RQ1 BISGのようなプロキシモデルを用いた被保護集団所属の閾値ベース推定が、なぜ人種的格差を過大評価する傾向にあるのか。
• RQ2 被保護集団所属が観測されない状況における閾値ベース格差推定のバイアスの明確な要因は何か。
• RQ3 プロキシモデルからのソフト分類を用いる重み付き推定器のバイアスは、閾値ベース推定器とどのように異なるか。
• RQ4 重み付き推定器のバイアスは、単一で解釈可能な成分に要約できるか。そして、そのような要約は公平性評価をどのように簡素化するか。
• RQ5 推定における閾値の選択が、格差推定におけるバイアスの大きさと方向にどのように影響するか。

主な発見

• 閾値ベースの推定は、地理的間および地理的内の変動の複雑な相互作用のため、格差推定に上昇バイアスをもたらす。その大きさは選択された閾値に強く依存する。
• 閾値ベース推定器のバイアスは、被保護集団所属との結果相関の地理的間および地理的内での変動の両方に起因する。
• 重み付き推定器のバイアスは、単一で解釈可能なバイアス要因に起因する：各地理的場所における真の集団所属との結果の条件付き共分散であり、結果として格差が系統的に低く評価される。
• HMDA住宅融資データセットにおいて、大多数の人が白人世帯の承認率が黒人・ヒスパニック系の近隣住民よりも高い集計地域に居住していることから、重み付き推定器のバイアスが説明される。
• 閾値ベース推定器のバイアスは、競合するバイアス要因の存在により、閾値の選択に極めて敏感であり、異なる設定間で結果が頑健でない。
• 重み付き推定器のバイアスは、より単純に理解可能で、より予測可能であるため、被保護集団ラベルが観測不可能な状況における公平性評価の代替手段として、より説得力がある。