[論文レビュー] Fairer and more accurate, but for whom?

Alexandra Chouldechova, Max G’Sell|arXiv (Cornell University)|Jun 30, 2017

Advanced Causal Inference Techniques参考文献 10被引用数 33

ひとこと要約

本稿では、誤差や承認率における人種的・性別の差異といった公平性指標において、2つの機械学習モデルの差が顕著に現れるサブグループを特定するための再帰的二分分割フレームワークを提案する。全体の性能指標では見えにくくなるサブグループレベルの乖離を特定することで、全体の性能が類似しているにもかかわらず、実際の使用事例（再犯予測や融資）において隠れた不平等を解明できる。

ABSTRACT

Complex statistical machine learning models are increasingly being used or considered for use in high-stakes decision-making pipelines in domains such as financial services, health care, criminal justice and human services. These models are often investigated as possible improvements over more classical tools such as regression models or human judgement. While the modeling approach may be new, the practice of using some form of risk assessment to inform decisions is not. When determining whether a new model should be adopted, it is therefore essential to be able to compare the proposed model to the existing approach across a range of task-relevant accuracy and fairness metrics. Looking at overall performance metrics, however, may be misleading. Even when two models have comparable overall performance, they may nevertheless disagree in their classifications on a considerable fraction of cases. In this paper we introduce a model comparison framework for automatically identifying subgroups in which the differences between models are most pronounced. Our primary focus is on identifying subgroups where the models differ in terms of fairness-related quantities such as racial or gender disparities. We present experimental results from a recidivism prediction task and a hypothetical lending example.

研究の動機と目的

• 全体の性能指標の限界を是正すること。これは、モデル間の顕著なサブグループレベルの格差が全体の指標では見えにくくなることがあるためである。
• 2つのモデルが公平性関連の結果（例：人種や性別による偽陽性率の差）で最も異なるサブグループを自動で特定する手法を開発すること。
• 刑事裁判や融資など、意思決定が個人の人生に直接影響を及えるハイリスク分野におけるモデル比較を可能にすること。
• 感受性属性（例：人種、婚姻状況）の組み込みが、サブ集団全体にわたる公平性指標に与える影響を明らかにすることで、モデル選択を支援すること。
• モデルの内部構造や共通の入力変数の知識が不要な、原則的でデータ駆動型のサブグループ公平性分析手法を提供すること。

提案手法

• 候補変数（例：年齢、性別、犯罪歴）に基づいてデータをサブグループに分割する、検定に基づく再帰的二分分割アルゴリズムを用いる。
• 各ノードで統計的検定（例：カイ二乗検定やt検定）を実行し、2つのモデル間での公平性パラメータ（例：偽陽性率の差、承認率の差）の不安定性を検出する。
• 公平性指標の差が統計的に有意であるサブグループを特定するパラメータ不安定性ツリーを構築する。
• 小さな差や実務的になかなか意味のない差（例：効果量が小さい）を持つノードを縮小（プルーニング）することで、意味のあるサブグループの格差に焦点を当てる。
• 各サブグループ内での2つのモデル間の公平性指標の差を表す差異指標Δを定義する（例：性別による融資率格差）。
• 実世界の事例に適用：再犯予測におけるCOMPASとPriors、および仮想の融資タスクにおけるSmallとFullランダムフォレストモデル。

実験結果

リサーチクエスチョン

• RQ1 全体の性能が類似している場合でも、2つの機械学習モデルが公平性指標で顕著に異なるサブグループをどのように特定できるか？
• RQ2 人種的差異（例：偽陽性率の差）のような公平性格差は、サブ集団ごとにどの程度異なるのか。また、モデルの入力変数が異なる場合、その差はどのように変化するか？
• RQ3 感受性属性（例：人種、婚姻状況）の組み込みが、予測モデルにおけるサブグループレベルの公平性結果に与える影響は何か？
• RQ4 モデル比較フレームワークは、全体の性能指標に隠された潜在的な不平等を明らかにできるか？
• RQ5 犯罪歴（Priors）の組み込みと、複雑なブラックボックスモデル（COMPAS）の組み込みの違いが、人種的背景にかかわらずサブグループごとの公平性格差にどのように影響するか？

主な発見

• Broward郡の再犯予測データセットにおいて、COMPASとPriorsは全体の正確性とAUCが類似しているにもかかわらず、32%のケースで異なる予測を出している。
• 若年男性のサブグループでは、Black被告とWhite被告の間の偽陽性率（FPR）格差が顕著に異なる：COMPASでは大きなFPR格差（16.5%）を示すが、Priorsではほぼゼロ（0.5%）である。
• 仮想の融資例では、Fullモデルに人種と婚姻状況を組み込むことで、結婚済みで大学卒業の集団における性別による融資率格差が減少し、一部のサブグループでは逆転すら起こっている。
• 未婚で大学卒業の集団では、Fullモデルにおいて男性の融資率が急激に低下したため、性別による承認率格差が著しく低下した。
• 本手法は、COMPASとPriorsのFPR格差が顕著に異なる7つの異なるサブグループを効果的に特定した。最大の差は、人種的背景や犯罪歴変数によって主に駆動されている。
• パラメータ不安定性ツリーのプルーニングにより、小さな効果量（例：Δ = 0.001）を持つノードが除去され、統計的に有意ではあるが実務的になかなか意味のない差ではなく、実質的に有意義な格差に焦点を当てるようになった。