[論文レビュー] Fairness Measures for Regression via Probabilistic Classification

Daniel Steinberg, Alistair Reid+1 more|arXiv (Cornell University)|Jan 16, 2020

Ethics and Social Impacts of AI参考文献 21被引用数 7

ひとこと要約

本稿では、保護属性の条件付き確率を推定するための確率的分類を用いて、回帰タスクにおける公平性基準—独立性、分離性、十分性—の取り扱いやすく、モデルに依存しない近似手法を提案する。相互情報量と密度比推定器が、安定的かつ解釈可能な公平性評価を提供することを示しており、実世界の回帰モデルにおける公平性と精度のトレードオフを実証的に明らかにしている。

ABSTRACT

Algorithmic fairness involves expressing notions such as equity, or reasonable treatment, as quantifiable measures that a machine learning algorithm can optimise. Most work in the literature to date has focused on classification problems where the prediction is categorical, such as accepting or rejecting a loan application. This is in part because classification fairness measures are easily computed by comparing the rates of outcomes, leading to behaviours such as ensuring that the same fraction of eligible men are selected as eligible women. But such measures are computationally difficult to generalise to the continuous regression setting for problems such as pricing, or allocating payments. The difficulty arises from estimating conditional densities (such as the probability density that a system will over-charge by a certain amount). For the regression setting we introduce tractable approximations of the independence, separation and sufficiency criteria by observing that they factorise as ratios of different conditional probabilities of the protected attributes. We introduce and train machine learning classifiers, distinct from the predictor, as a mechanism to estimate these probabilities from the data. This naturally leads to model agnostic, tractable approximations of the criteria, which we explore experimentally.

研究の動機と目的

• 回帰問題において、連続的な出力のため従来の分類ベースの公平性基準が適用できないという、取り扱いやすい公平性測度の欠如に対処すること。
• 条件付き確率推定を用いて、独立性、分離性、十分性という3つの核心的公平性基準の一般的かつモデルに依存しない近似を構築すること。
• モデルの内部構造や推論時の感受性属性へのアクセスが不要な状況でも、ブラックボックス回帰モデルにおける公平性の監査と分析を可能にすること。
• これらの新しい近似を用いて、既存の公平な回帰アルゴリズムの性能を評価し、公平性と予測精度のトレードオフを明らかにすること。
• 解釈可能で正規化された公平性メトリクスに基づく、回帰システムの事後処理および規制監査のフレームワークを提供すること。

提案手法

• 本稿では、保護属性を含む条件付き確率の比に公平性基準を因数分解し、分類による推定を可能にする。
• 保護属性a、真の出力y、予測値ŷに対して、P(a|y)およびP(a|ŷ)を推定する別個の確率的分類器を訓練する。
• 密度比推定器を用いて、P(a|ŷ) / P(a|y)の比を推定することで、独立性基準を近似する。
• 相互情報量の近似は、経験的統合を用い、[0,1]に正規化する。0は完全な公平性を示す。
• 本手法は合成データおよび実世界の犯罪司法データセットに適用され、公平性のトレードオフを評価する。
• 本手法はモデルに依存せず、予測値、真の出力、感受性属性へのアクセスのみを要するため、ブラックボックスシステムに適している。

実験結果

リサーチクエスチョン

• RQ1 独立性、分離性、十分性という公平性基準は、出力が連続的な回帰設定に意味的に拡張可能か？
• RQ2 これらの公平性基準は、回帰モデルに対して、モデルに依存せず、計算的に取り扱いやすい方法でどのように近似可能か？
• RQ3 既存の公平な回帰アルゴリズムは、3つの公平性基準をどの程度満たしており、精度と公平性のトレードオフはどのように現れるか？
• RQ4 相互情報量推定器と密度比推定器は、公平性監査において、安定性と解釈可能性の観点でどのように比較されるか？
• RQ5 これらの近似は、グループ平均がバランスしている場合でも、保護群間で誤差分布に不均一性があるような、微細な公平性の違反を検出可能か？

主な発見

• 相互情報量の近似は、[0,1]への正規化のおかげで、直接的な密度比推定よりも数値的に安定しており、解釈が容易であった。
• 公平性正則化項の重みが小さい場合、予測値と人種の間で強い依存関係が観察され、独立性および分離性が著しく損なわれていた。ただし、十分性はほぼ満たされていた。
• 公平性正則化項の重みを増加させることで、相互情報量および密度比推定値の低下により分離性が向上したが、モデル表現力の低下によりRMSEも増加した。
• 密度比推定器 r_sep は、相互情報量測定 I_sep よりも低い正則化項重みで分離性を満たす兆候を示しており、近似バイアスへの感受性が生じる可能性がある。
• Y×Sプロットの視覚的検査から、高い正則化項重みでは予測値が平均に引き寄せられ、真の値を条件とした誤差分布におけるグループ差が小さくなった。
• 本手法は、誤差分布が対称的であるため平均ベースの公平性メトリクスでは公平に見えるが、実際には分離性が損なわれているモデルを検出でき、平均ベースのメトリクスの限界を浮き彫りにした。