[논문 리뷰] The impossibility of "fairness": a generalized impossibility result for decisions

Thomas Miconi|arXiv (Cornell University)|2017. 07. 05.

Ethics and Social Impacts of AI참고 문헌 4인용 수 17

한 줄 요약

이 논문은 일반화된 불가능성 결과를 증명한다: 비완전하고 비자명한 예측기의 경우, 군의 유병률이 다를 때 등가 오차, 예측 일치성, 校정성과 같은 공정성 기준을 동시에 만족시킬 수 없다. 핵심 기여는 이러한 세 가지 공정성 측도 중 어느 하나라도 군 간에 만족되면 나머지 두 측도는 반드시 위반됨을 공식적으로 입증한 것이다. 이는 알고리즘적 및 인간 의사결정 시스템 모두에 일반적으로 적용된다.

ABSTRACT

Various measures can be used to estimate bias or unfairness in a predictor. Previous work has already established that some of these measures are incompatible with each other. Here we show that, when groups differ in prevalence of the predicted event, several intuitive, reasonable measures of fairness (probability of positive prediction given occurrence or non-occurrence; probability of occurrence given prediction or non-prediction; and ratio of predictions over occurrences for each group) are all mutually exclusive: if one of them is equal among groups, the other two must differ. The only exceptions are for perfect, or trivial (always-positive or always-negative) predictors. As a consequence, any non-perfect, non-trivial predictor must necessarily be "unfair" under two out of three reasonable sets of criteria. This result readily generalizes to a wide range of well-known statistical quantities (sensitivity, specificity, false positive rate, precision, etc.), all of which can be divided into three mutually exclusive groups. Importantly, The results applies to all predictors, whether algorithmic or human. We conclude with possible ways to handle this effect when assessing and designing prediction methods.

연구 동기 및 목표

• 이진 예측에서 다양한 인구 집단 간에 다수의 직관적으로 타당한 공정성 기준이 공존할 수 있는지 조사하기 위해.
• 군의 유병률이 다를 경우 공정성 측도의 동시 만족이 불가능한 수학적 제약 조건을 규명하기 위해.
• 비완전하고 비자명한 예측기의 경우, 하나의 공정성 기준을 만족시키면 반드시 나머지 두 기준을 위반함을 입증하기 위해.
• 감도, 특이도, 정밀도, 위양성률 등의 잘 알려진 통계적 측도로 이러한 불일치를 일반화하기 위해.
• 공정한 의사결정 시스템 설계를 위해 공정성 정의 간 본질적 상충관계를 명확히 하기 위해.

제안 방법

• 기본 확률 공리와 베이즈 정리를 사용하여 공정성 측도 간의 관계를 유도한다.
• 세 가지 공정성 기준을 분석한다: (1) 등가 오차 (Y에 대한 Pred 조건부 확률과 ¬Y에 대한 Pred 조건부 확률이 군 간에 동일), (2) 예측 일치성 (Pred에 대한 Y 조건부 확률과 ¬Pred에 대한 Y 조건부 확률이 동일), (3) 校정성 (Pred/P(Y)가 동일).
• 측도 1과 2가 군 간에 동일할 경우, P(Y)가 다를 경우 P(Pred)/P(Y)는 반드시 변동함을 보여주며, 이는 위양성/위음성률이 0이 아닐 경우에만 성립한다.
• 대우를 통해, 어느 한 측도를 군 간에 동일하게 만들면 나머지 두 측도는 반드시 불균형해지며, 이는 비자명하거나 완전한 예측기의 경우를 제외하고는 불가능하다는 것을 입증한다.
• 세 가지 상호배타적인 공정성 범주로 분류된 통계적 양들을 기반으로 결과를 보다 광범위한 통계량으로 일반화한다.
• 분석을 알고리즘적 예측기뿐 아니라 인간 예측자에도 적용하여, 이 결과가 보편적으로 적용된다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 군의 유병률이 다를 경우, 비완전하고 비자명한 예측기가 등가 오차, 예측 일치성, 校정성이라는 세 가지 공정성 기준을 동시에 만족시킬 수 있는가?
• RQ2 이진 예측 시스템에서 다수의 공정성 기준이 동시에 성립하지 못하는 수학적 제약 조건은 무엇인가?
• RQ3 군 간 기저율이 다를 경우, 왜 여러 직관적인 공정성 정의에 의해 공정성이 본질적으로 붕괴되는가?
• RQ4 예측기 정확도 향상은 공정성 기준 간의 불일치를 어느 정도 감소시키는가?
• RQ5 모든 공정성 기준을 만족하는 데 가능한 대안은 존재하는가, 그리고 그에 수반되는 상충관계는 무엇인가?

주요 결과

• 예측 사건의 군 간 유병률이 다를 경우, 비완전하고 비자명한 예측기는 등가 오차, 예측 일치성, 校정성이라는 세 가지 공정성 기준을 동시에 만족시킬 수 없다.
• 등가 오차(측도 1)를 군 간에 동일하게 만들면, 위양성률이 0이 아닐 경우 반드시 校정성(측도 3)이 불균형해지며, 이는 불가능한 경우가 된다.
• 예측 일치성(측도 2)을 군 간에 동일하게 만들면, P(Y)/P(Pred)가 P(Pred)에 대해 단조 증가함에 따라 반드시 校정성(측도 3)이 불균형해지며, 이는 불가피하다.
• 공정성 측도 간의 불일치는 특정 모델에 국한되지 않으며, 모든 예측기, 인간 의사결정까지 포함해 보편적으로 적용된다.
• 결과는 감도, 특이도, 정밀도, 위양성률 등 잘 알려진 통계적 측도로 일반화되며, 이들은 세 가지 상호배타적인 공정성 그룹에 속한다.
• 오류가 없는 완전한 예측기(오류율 0)는 오직 유병률의 차이가 있더라도 군 간에 세 가지 공정성 기준이 모두 동일하게 유지될 수 있는 유일한 경우이다.