[論文レビュー] The impossibility of "fairness": a generalized impossibility result for decisions

Thomas Miconi|arXiv (Cornell University)|Jul 5, 2017

Ethics and Social Impacts of AI参考文献 4被引用数 17

ひとこと要約

この論文は一般化された不可能性結果を証明している：非完全で非自明な予測器では、グループの発生率が異なる場合、等しいオッズ、予測妥当性、キャリブレーションといった公平性基準を同時に満たすことはできない。中心的貢献は、いずれかの公平性指標をグループ間で満たすことは、他の2つを必ず破るという形式的証明であり、これはアルゴリズム的および人間の意思決定システムの両方に普遍的に適用可能である。

ABSTRACT

Various measures can be used to estimate bias or unfairness in a predictor. Previous work has already established that some of these measures are incompatible with each other. Here we show that, when groups differ in prevalence of the predicted event, several intuitive, reasonable measures of fairness (probability of positive prediction given occurrence or non-occurrence; probability of occurrence given prediction or non-prediction; and ratio of predictions over occurrences for each group) are all mutually exclusive: if one of them is equal among groups, the other two must differ. The only exceptions are for perfect, or trivial (always-positive or always-negative) predictors. As a consequence, any non-perfect, non-trivial predictor must necessarily be "unfair" under two out of three reasonable sets of criteria. This result readily generalizes to a wide range of well-known statistical quantities (sensitivity, specificity, false positive rate, precision, etc.), all of which can be divided into three mutually exclusive groups. Importantly, The results applies to all predictors, whether algorithmic or human. We conclude with possible ways to handle this effect when assessing and designing prediction methods.

研究の動機と目的

• 二値予測における複数の直感的に妥当な公平性基準が、人種的・文化的背景の異なるグループ間で同時に成立するかどうかを調査すること。
• グループの発生率が異なる場合に、公平性指標の同時満たしを妨げる数学的制約を同定すること。
• 非完全で非自明な予測器に対して、1つの公平性基準を満たすことは、他の2つを必然的に破ることを示すこと。
• 感度、特異度、精度、偽陽性率などの代表的な統計的指標へこの不整合性を一般化すること。
• 公平性定義間の本質的トレードオフを明確にすることで、より公平な意思決定システムの設計を支援すること。

提案手法

• 基本的な確率公理とベイズの定理を用いて、公平性指標間の関係を導出する。
• 3つの公平性基準を分析する：(1) 等しいオッズ（P(Pred|Y) および P(Pred|¬Y) がグループ間で等しい）、(2) 予測妥当性（P(Y|Pred) および P(Y|¬Pred) が等しい）、(3) キャリブレーション（P(Pred)/P(Y) が等しい）。
• 測定1および2がグループ間で等しければ、P(Y) が異なる限り、P(Pred)/P(Y) の式は変動する、ただし偽陽性・偽陰性率が0である場合に限る。
• 対偶による証明により、いずれかの測定値を等しくすることで、他の2つが不平等になることが示され、非自明または完全な予測器の場合は成立しない。
• 3つの互いに排他的な公平性カテゴリに分類することで、広範な統計的量への一般化を図る。
• アルゴリズム的および人間の予測器の両方への適用により、この結果が普遍的に適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 グループの発生率が異なる場合、非完全で非自明な予測器が等しいオッズ、予測妥当性、キャリブレーションという3つの公平性基準を同時に満たすことは可能か？
• RQ2 グループの発生率が異なる場合に、複数の公平性基準の共存を妨げる数学的制約は何か？
• RQ3 グループ間のベースレートの違いが、複数の直感的な公平性定義における公平性をどのように根本的に損なうか？
• RQ4 予測器の精度向上は、公平性基準間の不整合性をどの程度軽減するか？
• RQ5 すべての公平性基準を満たす代替案は存在するか？その場合のトレードオフは何か？

主な発見

• 予測対象の発生率がグループ間で異なる場合、非完全で非自明な予測器は、等しいオッズ、予測妥当性、キャリブレーションという3つの公平性基準を同時に満たすことはできない。
• 等しいオッズ（測定1）をグループ間で等しくするには、偽陽性率が0でない限り、キャリブレーション（測定3）が不平等になる。これは非自明な予測器では不可能である。
• 予測妥当性（測定2）をグループ間で等しくするには、P(Y)/P(Pred) が P(Pred) に単調に依存するため、キャリブレーション（測定3）が不平等になる。
• 公平性指標間の不整合性は特定のモデルに限定されるものではなく、すべての予測器、人間の意思決定を含めて普遍的に成立する。
• この結果は、感度、特異度、精度、偽陽性率などの代表的な統計的指標へ一般化され、3つの互いに排他的な公平性グループに分類される。
• 完全な予測器（誤差がゼロ）は、発生率の違いに関わらず、3つの公平性基準をすべて同時に等しく満たす唯一のケースである。