[논문 리뷰] How Do Fairness Definitions Fare? Examining Public Attitudes Towards Algorithmic Definitions of Fairness

Nripsuta Ani Saxena, Karen Huang외 4명|arXiv (Cornell University)|2018. 11. 08.

Ethics and Social Impacts of AI참고 문헌 23인용 수 49

한 줄 요약

이 논문은 대출 결정에서 세 가지 알고리즘 공정성 정의에 대한 일반인의 인식을 조사하고, 인종 정보가 추가될 때 인식이 어떻게 바뀌는지 두 차례의 온라인 실험을 통해 확인하며, 보정된 공정성이 종종 선호되고 차별 철폐 정책이 지지된다는 점을 보여준다.

ABSTRACT

What is the best way to define algorithmic fairness? While many definitions of fairness have been proposed in the computer science literature, there is no clear agreement over a particular definition. In this work, we investigate ordinary people's perceptions of three of these fairness definitions. Across two online experiments, we test which definitions people perceive to be the fairest in the context of loan decisions, and whether fairness perceptions change with the addition of sensitive information (i.e., race of the loan applicants). Overall, one definition (calibrated fairness) tends to be more preferred than the others, and the results also provide support for the principle of affirmative action.

연구 동기 및 목표

• 대출 맥락에서 일반인의 인식과 일치하는 CS 공정성 정의가 무엇인지 이해한다.
• 민감 속성(인종)을 추가하는 것이 공정성 판단에 어떤 영향을 미치는지 평가한다.
• 다양한 공정성 정의에 대한 공공의 지지를 비교한다.
• 현실 세계의 의사결정 시스템에 공정성 개념을 적용하는 시사점을 탐구한다.

제안 방법

• 참가자들에게 대출 결정 시나리오를 제시하는 두 번의 온라인 실험을 수행한다.
• 각 시나리오에서 적용되는 공정성 정의를 조작한다.
• 민감 정보(지원자 인종)의 포함 여부를 다양화하여 공정성 판단에 미치는 영향을 시험한다.
• 정의들 간의 인식된 공정성과 선호를 측정한다.
• 인종 정보 노출 여부 및 기타 요인에 따라 응답이 다른지 분석한다.

실험 결과

연구 질문

• RQ1 대출 결정 맥락에서 일반인이 가장 공정하다고 인식하는 알고리즘적 공정성 정의는 무엇인가?
• RQ2 민감 정보(인종)의 포함이 정의들 전반의 공정성 판단에 영향을 미치는가?
• RQ3 인종이 있거나 없을 때 보정된 공정성, 통계적 평등, 다른 정의들 간의 선호가 참가자마다 다른가?
• RQ4 공공 인식에서 차별 철폐 정책의 공정성 접근법으로서의 근거가 있는가?

주요 결과

• 보정된 공정성은 조사된 다른 정의들보다 더 선호되는 경향이 있다.
• 연구 맥락에서 차별 철폐 원칙에 대한 대중의 태도가 지지를 보인다.
• 민감 정보(인종)의 추가가 공정성 판단에 영향을 미쳐 정의들 간의 선호에 영향을 준다.
• 결과는 대출 시나리오에서 일반인의 직관과 일치하는 공정성 개념을 밝힌다.