[論文レビュー] Assessing Algorithmic Fairness with Unobserved Protected Class Using Data Combination

Nathan Kallus, Xiaojie Mao+1 more|arXiv (Cornell University)|Jun 1, 2019

Insurance, Mortality, Demography, Risk Management参考文献 50被引用数 31

ひとこと要約

この論文は、保護対象分類（例：人種、性別）の所属が観測されない状況においてアルゴリズムの公平性を評価する手法を提案する。主データセットと、姓や居住地などプロキシ変数を含む補助データセットを組み合わせることで、観測可能なデータと補助プロキシ情報とで一貫する可能性のある最小限の差異の集合を正確に特定する。最適化および可視化ツールを提供することで、住宅ローン貸し付けや個別化医療などの実世界の応用分野における頑健な公平性評価を可能にする。

ABSTRACT

The increasing impact of algorithmic decisions on people's lives compels us to scrutinize their fairness and, in particular, the disparate impacts that ostensibly-color-blind algorithms can have on different groups. Examples include credit decisioning, hiring, advertising, criminal justice, personalized medicine, and targeted policymaking, where in some cases legislative or regulatory frameworks for fairness exist and define specific protected classes. In this paper we study a fundamental challenge to assessing disparate impacts in practice: protected class membership is often not observed in the data. This is particularly a problem in lending and healthcare. We consider the use of an auxiliary dataset, such as the US census, to construct models that predict the protected class from proxy variables, such as surname and geolocation. We show that even with such data, a variety of common disparity measures are generally unidentifiable, providing a new perspective on the documented biases of popular proxy-based methods. We provide exact characterizations of the tightest-possible set of all possible true disparities that are consistent with the data (and possibly any assumptions). We further provide optimization-based algorithms for computing and visualizing these sets and statistical tools to assess sampling uncertainty. Together, these enable reliable and robust assessments of disparities -- an important tool when disparity assessment can have far-reaching policy implications. We demonstrate this in two case studies with real data: mortgage lending and personalized medicine dosing.

研究の動機と目的

• 融資や医療など感受性の高い分野において、実世界のデータセットで保護対象分類の所属が観測されない状況におけるアルゴリズムの公平性を評価するという、極めて重要な課題に取り組む。
• 保護状態の間接的指標に依存するプロキシベース手法の限界を克服する。こうした手法は、バイアスを生じさせやすく、理論的保証が欠如していることが知られている。
• 観測データと補助プロキシ情報とで一貫する、すべての差異の最もきつい（tightest possible）集合を計算する、原則的（principled）なフレームワークを構築する。
• 標本誤差を定量化し、可視化ツールを提供することで、信頼性が高く、政策に影響を与える公平性評価を可能にする。
• 住宅ローン貸し付けと個別化医療の投与量決定における事例研究を通じて、本手法の実用的有用性を示す。

提案手法

• 米国国勢調査など補助データセットを用いて、姓や居住地などのプロキシ変数に基づき、保護対象分類への所属確率をモデル化する。
• 観測データとプロキシモデルの下で、差異指標（例：デモグラフィックパラティーション、同等機会）の最もきつい境界を計算する制約付き最適化問題として問題を定式化する。
• 凸最適化技術を用いて、観測データと任意の仮定とで一貫するすべての可能な真の差異の集合を特徴付ける。
• 差異境界の計算と可視化を可能にするアルゴリズムを開発し、解釈可能で頑健な公平性評価を可能にする。
• 標本誤差の定量化に役立つ統計ツールを統合し、政策意思決定における信頼性を高める。
• 住宅ローン貸し付けと個別化医療の実世界データセットに本フレームワークを適用し、その実現可能性と影響力を示す。

実験結果

リサーチクエスチョン

• RQ1 保護対象分類の所属が主データセットで観測されない状況において、どの程度信頼性を持ってアルゴリズムの差異を境界づけることができるか。
• RQ2 保護対象分類の所属を推定するために一般的に用いられるプロキシベース手法が、公平性評価の同定可能性と正確性にどのように影響を与えるか。
• RQ3 観測データと補助プロキシ情報とで一貫する、最もきつい（tightest possible）差異の集合は何か。そして、その集合はどのように効率的に計算できるか。
• RQ4 差異境界における標本誤差をどのように定量化し、可視化して、頑健な意思決定を支援できるか。
• RQ5 提案されたフレームワークは、住宅ローン貸し付けや個別化医療など、高リスク分野における実世界の公平性評価に効果的に応用可能か。

主な発見

• 保護対象分類の所属が観測されない場合でさえ、一般的な差異指標は一般に同定不能である。これは、プロキシベースの公平性評価に根本的な制限があることを示している。
• 提案手法は、データと一貫する最もきつい（tightest possible）差異集合を正確に特徴づける。これは、プロキシに基づく補完手法よりも信頼性が高い代替手段を提供する。
• フレームワークにより、差異境界の計算と可視化が可能になり、不確実性下でも公平性を頑健に評価できる。
• 標本誤差の定量化に役立つ統計ツールが統合されており、実世界の応用における公平性評価の信頼性が向上する。
• 住宅ローン貸し付けと個別化医療における事例研究により、本手法の実用的有用性が示され、そうでなければ見えにくくなるような意味のある差異を明らかにできた。
• 本手法は、プロキシベース手法が誤った公平性の結論を導く可能性があることを示しており、より厳密な境界に基づく評価フレームワークの必要性を強調している。