[論文レビュー] From Soft Classifiers to Hard Decisions: How fair can we be?

Ran Canetti, Aloni Cohen+4 more|arXiv (Cornell University)|Oct 3, 2018

Ethics and Social Impacts of AI参考文献 4被引用数 4

ひとこと要約

この論文は、二値意思決定におけるグループ公平性を達成するために、後処理されたキャリブレーション済みソフト分類器を調査し、グローバルなしきい値を用いた予測値（PPV/NPV）の均等化が一般的には不可能であることを示している。本稿では、デフォルト（延期）に基づく後処理を提案し、グループ間でPPV、NPV、FPR、FNRを均等化可能にすることで、標準的なしきい値処理における既知の不可能性結果を回避する。

ABSTRACT

A popular methodology for building binary decision-making classifiers in the presence of imperfect information is to first construct a non-binary "scoring" classifier that is calibrated over all protected groups, and then to post-process this score to obtain a binary decision. We study the feasibility of achieving various fairness properties by post-processing calibrated scores, and then show that deferring post-processors allow for more fairness conditions to hold on the final decision. Specifically, we show: 1. There does not exist a general way to post-process a calibrated classifier to equalize protected groups' positive or negative predictive value (PPV or NPV). For certain "nice" calibrated classifiers, either PPV or NPV can be equalized when the post-processor uses different thresholds across protected groups, though there exist distributions of calibrated scores for which the two measures cannot be both equalized. When the post-processing consists of a single global threshold across all groups, natural fairness properties, such as equalizing PPV in a nontrivial way, do not hold even for "nice" classifiers. 2. When the post-processing is allowed to `defer' on some decisions (that is, to avoid making a decision by handing off some examples to a separate process), then for the non-deferred decisions, the resulting classifier can be made to equalize PPV, NPV, false positive rate (FPR) and false negative rate (FNR) across the protected groups. This suggests a way to partially evade the impossibility results of Chouldechova and Kleinberg et al., which preclude equalizing all of these measures simultaneously. We also present different deferring strategies and show how they affect the fairness properties of the overall system. We evaluate our post-processing techniques using the COMPAS data set from 2016.

研究の動機と目的

• 後処理されたキャリブレーション済みソフト分類器のグループ公平性の限界を二値意思決定において分析すること。
• PPV や NPV といった公平性特性が、保護群ごとにしきい値処理によって均等化可能かどうかを調査すること。
• デフォルトメカニズムが、複数の公平性指標（PPV、NPV、FPR、FNR）を同時に均等化できる仕組みとしてどのように機能するかを検討すること。
• 実世界のデータ（COMPAS）を用いて提案手法を評価し、公平性とデフォルト率のトレードオフを検証すること。
• 公平性に配慮した意思決定システムにおけるデフォルトモデルの技術的および手続的影響を検討すること。

提案手法

• 保護群ごとに適応したしきい値を用いて、キャリブレーション済みソフト分類器を後処理し、各保護群の意思決定境界を調整する。
• 一部の入力を直接分類するのではなく、下流の意思決定者に渡すデフォルトメカニズムを導入する。
• 非デフォルト意思決定に限定して公平性指標（PPV、NPV、FPR、FNR）を条件づけることで、アクティブな意思決定における公平性を分離する。
• 質量平均化としきい値処理戦略を用いて、1つの精度プロファイル（AP）を別のものに変換しつつ、公平性を維持する。
• 非デフォルトイベントを条件として仮定することで、標準定義と整合性を保った条件付き偽陽性率および偽陰性率を定義する。
• しきい値処理とデフォルトを併用し、AP変換技術を用いてCOMPASデータセット上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのグローバルしきい値を用いて、キャリブレーション済みソフト分類器を後処理することで、保護群間でPPV や NPV を均等化できるか？
• RQ2 グループに特化したしきい値処理が、キャリブレーションを破壊することなく、PPV や NPV を均等化できる条件は何か？
• RQ3 デフォルトを許容することで、グループ間でPPV、NPV、FPR、FNRを同時に均等化できるか？
• RQ4 異なるデフォルトモデルが、得られる意思決定システムの公平性と誤り率にどのように影響するか？
• RQ5 実世界の応用例（COMPASなど）において、公平性、デフォルト率、正確性の間にはどのようなトレードオフがあるか？

主な発見

• 1つのグローバルしきい値を用いた後処理では、保護群間でPPV や NPV を均等化する一般的な方法は存在しない。
• 特定の良好に振る舞う精度プロファイル（AP）に対しては、グループに特化したしきい値によりPPV や NPV のいずれか一方を均等化できるが、両方を同時に均等化することはグローバルしきい値処理では不可能である。
• デフォルトを許容することで、非デフォルト意思決定において、グループ間でPPV、NPV、FPR、FNRを均等化することが可能となり、既知の不可能性結果を効果的に回避できる。
• デフォルトに基づく後処理により、しきい値処理だけでは達成できない複数の指標における完全な公平性の均等化が可能になる。
• COMPASデータセットを用いた実験では、デフォルトに基づく手法が制御可能なデフォルト率でより公平な結果を達成できることを示している。
• デフォルトモデルの選択が公平性指標に顕著な影響を及ぼし、条件付きおよび無条件の誤り率定義は、システム性能の解釈を異なるものにしている。