[논문 리뷰] Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction

Nina Grgić-Hlača, Elissa M. Redmiles외 2명|arXiv (Cornell University)|2018. 02. 26.

Ethics and Social Impacts of AI참고 문헌 40인용 수 71

한 줄 요약

이 논문은 COMPAS 형사 위험 도구의 특징 사용에 대한 사람들이 공정성을 어떻게 인식하는지 경험적으로 연구하고, 잠재적 특징 속성으로부터 공정성 판단을 높은 정확도로 예측하는 eight-property 프레임워크를 제안한다. 차별뿐 아니라 다차원적 불공정 우려를 밝혀내고 응답자 간에 상당한 불일치를 보여준다.

ABSTRACT

As algorithms are increasingly used to make important decisions that affect human lives, ranging from social benefit assignment to predicting risk of criminal recidivism, concerns have been raised about the fairness of algorithmic decision making. Most prior works on algorithmic fairness normatively prescribe how fair decisions ought to be made. In contrast, here, we descriptively survey users for how they perceive and reason about fairness in algorithmic decision making. A key contribution of this work is the framework we propose to understand why people perceive certain features as fair or unfair to be used in algorithms. Our framework identifies eight properties of features, such as relevance, volitionality and reliability, as latent considerations that inform people's moral judgments about the fairness of feature use in decision-making algorithms. We validate our framework through a series of scenario-based surveys with 576 people. We find that, based on a person's assessment of the eight latent properties of a feature in our exemplar scenario, we can accurately (> 85%) predict if the person will judge the use of the feature as fair. Our findings have important implications. At a high-level, we show that people's unfairness concerns are multi-dimensional and argue that future studies need to address unfairness concerns beyond discrimination. At a low-level, we find considerable disagreements in people's fairness judgments. We identify root causes of the disagreements, and note possible pathways to resolve them.

연구 동기 및 목표

• 사람들이 알고리즘적 의사결정에서 개별 특징의 공정성을 판단할 때 어떤 요소를 사용하는지 식별한다.
• 공정성 판단에 영향을 미치는 잠재 속성 프레임워크를 제안한다.
• 범죄 위험 예측 맥락에서 대규모 설문조사(n=576)로 프레임워크를 경험적으로 검증한다.
• 공정성 판단의 합의와 이견 및 그 원인을 분석한다.
• 더 공정한 알고리즘 의사결정 시스템 설계에 대한 시사점을 논의한다.

제안 방법

• eight-property latent framework (reliability, relevance, privacy, volitionality, causes outcome, causes vicious cycle, causes disparity in outcomes, caused by sensitive group membership).
• COMPAS 입력에 대한 시나리오 기반 설문을 설계하여 576명의 참가자로부터 공정성 판단을 수집한다.
• 잠재 속성 및 공정성 판단을 평가하기 위해 파일럿 및 메인 설문조사를 수행한다.
• 일반화 가능성과 합의를 평가하기 위해 두 데이터셋 AMT와 SSI를 사용한다.
• 잠재 속성 평가로부터 공정성 판단을 예측하기 위해 L2 정규화를 사용한 로지스틱 회귀를 적용한다.

실험 결과

연구 질문

• RQ1 사람들이 의사결정 시나리오에서 특징을 사용하는 것이 공정한지 판단할 때 암묵적으로 어떤 잠재 속성을 사용하는가?
• RQ2 이 잠재 속성 평가로부터 공정성 판단을 예측할 수 있는가?
• RQ3 다양한 특징과 인구에서 공정성 판단의 합의와 이견은 어떻게 발생하는가?
• RQ4 불공정성 우려가 차별을 넘어 다른 특징 특성에도 확장되는가?
• RQ5 이러한 발견이 더 공정한 알고리즘 의사결정 시스템 설계에 어떤 시사점을 갖는가?

주요 결과

• 대다수의 응답자는 COMPAS 특징 중 약 절반을 보석 결정(bail decisions)에 사용하는 것이 불공정하다고 판단했다.
• 여덟 가지 잠재 속성으로 공정성 판단을 충분히 설명하며, 그 중 여섯은 분석에서 통계적으로 유의한 예측 변수로 나타났다.
• 공정성 판단은 잠재 속성 평가로부터 간단한 분류기로 높은 정확도 (> 85%)로 예측될 수 있다.
• 식별된 대부분의 공정성 고려사항은 차별과 무관했으며 추가적인 불공정성 우려를 강조했다.
• 여러 특징에 대해 공정성 판단에 상당한 이견이 있으며, 주로 잠재 속성, 특히 인과적 속성에 대한 서로 다른 평가로 인해 발생한다.
• 잠재 속성으로 훈련된 간단한 분류기가 공정성 판단을 정확히 예측하며, 이는 잠재 속성이 객관적으로 결정될 수 있으며 도덕적 추론은 설문으로 이끌어낼 수 있음을 시사한다.