[論文レビュー] Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment

Muhammad Bilal Zafar, Isabel Valera+2 more|arXiv (Cornell University)|Jan 1, 2016

Ethics and Social Impacts of AI参考文献 21被引用数 586

ひとこと要約

この論文は、感受性グループ間での誤分類率の不均等性に基づく公平性の概念「差別的誤扱い（disparate mistreatment）」を導入し、その不平等を最小化するための凸-凹最適化フレームワークを提案する。この手法は、精度の損失を最小限に抑えながら差別的誤扱いを効果的に低減し、合成データおよび実世界のデータセット（COMPASを含む）においてベースラインを上回る性能を発揮する。

ABSTRACT

Automated data-driven decision making systems are increasingly being used to assist, or even replace humans in many settings. These systems function by learning from historical decisions, often taken by humans. In order to maximize the utility of these systems (or, classifiers), their training involves minimizing the errors (or, misclassifications) over the given historical data. However, it is quite possible that the optimally trained classifier makes decisions for people belonging to different social groups with different misclassification rates (e.g., misclassification rates for females are higher than for males), thereby placing these groups at an unfair disadvantage. To account for and avoid such unfairness, in this paper, we introduce a new notion of unfairness, disparate mistreatment, which is defined in terms of misclassification rates. We then propose intuitive measures of disparate mistreatment for decision boundary-based classifiers, which can be easily incorporated into their formulation as convex-concave constraints. Experiments on synthetic as well as real world datasets show that our methodology is effective at avoiding disparate mistreatment, often at a small cost in terms of accuracy.

研究の動機と目的

• 真のラベルが利用可能な状況における機械学習の公平性を扱い、差別的扱いおよび差別的影響を越えて進化させる。
• 感受性グループ間での誤分類率の不均等性として「差別的誤扱い」を定義・形式化する。
• 差別的誤扱いを回避しつつ高い精度を維持する、実用的でスケーラブルな分類器の訓練手法を開発する。
• 感受性属性が直接使用されない状況でも、差別的誤扱いと差別的扱いの両方を同時に緩和可能にする。

提案手法

• 感受性グループ間での誤検出率、誤陰性率、誤発見率、誤除外率の不均等性に基づく、新たな公平性の概念「差別的誤扱い」を提案する。
• 誤分類率の差に基づく公平性制約を、凸-凹最適化問題として定式化する。
• 誤分類共分散のモンテカルロ近似を用いて、公平性制約の効率的推定を実現する。
• 分類器（例：ロジスティック回帰）に、分類器の線形および非線形モデルに適応可能な、体系的凸-凹プログラミング（DCCP）を用いて公平性制約を統合する。
• 凸-凹プログラミングソルバを用いて、精度と公平性の両方を同時に最適化する。
• アプリケーションの文脈に応じて、特定の誤分類タイプ（例：誤検出または誤陰性）に焦点を当てた柔軟な公平性制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 誤分類率に基づく公平性基準、すなわち差別的誤扱いは、分類システムにおいて効果的に形式化され最適化可能か？
• RQ2 精度を損なわずに、差別的誤扱いを凸-凹制約として分類器の学習に組み込む方法は何か？
• RQ3 この手法は、既存の手法と比較して、差別的誤扱いをどれほど低減しつつ、モデルの有用性を維持または向上できるか？
• RQ4 差別的誤扱いを緩和する際、感受性属性が推論時に直接使用されない状況でも、この手法は有効に機能するか？（差別禁止法の要件を満たす。）

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、誤検出率および誤陰性率における差別的誤扱いを効果的に低減し、精度の損失を最小限に抑えている。
• COMPASデータセットでは、誤検出率の差異（DFPR）を0.06、誤陰性率の差異（DFNR）を-0.14まで低減し、ベースラインおよびHardtらの手法を上回る精度-公平性トレードオフを達成した。
• 誤検出率制約の制御が誤陰性率における差別的誤扱いの低減にも寄与し、逆に誤陰性率制約が誤検出率の低減に寄与するなど、誤分類タイプ間の強い相関関係が示された。
• 一部のケースでは、差異がゼロ（例：DFPRまたはDFNR = 0）に達しないことがあり、これは小さなデータセットによる共分散推定の精度制限が原因であると推定される。
• Hardtらの手法はDFPRおよびDFNRをゼロにしたが、精度が著しく低下した（例：COMPASでは64.5%の精度）ため、公平性と有用性のトレードオフが顕著に現れた。
• 小規模データセットでは共分散推定が不安定になるため性能が低下する傾向があり、本手法はより大きなトレーニングデータセットを用いることで、より頑健な公平性制約が得られると示唆された。