[논문 리뷰] Factors Influencing Perceived Fairness in Algorithmic Decision-Making: Algorithm Outcomes, Development Procedures, and Individual Differences

Ruotong Wang, F. Maxwell Harper외 1명|arXiv (Cornell University)|2020. 01. 27.

Ethics and Social Impacts of AI참고 문헌 68인용 수 30

한 줄 요약

이 CHI 2020 연구는 무작위 온라인 MTurk 실험을 통해 개인의 바람직한 결과와 편향되지 않은 그룹 처리가 지각된 공정성에 영향을 미치며, 결과 효과가 편향 효과를 종종 능가하고 교육 및 개발 절차가 이러한 인식을 조정한다는 것을 보여준다.

ABSTRACT

Algorithmic decision-making systems are increasingly used throughout the public and private sectors to make important decisions or assist humans in making these decisions with real social consequences. While there has been substantial research in recent years to build fair decision-making algorithms, there has been less research seeking to understand the factors that affect people's perceptions of fairness in these systems, which we argue is also important for their broader acceptance. In this research, we conduct an online experiment to better understand perceptions of fairness, focusing on three sets of factors: algorithm outcomes, algorithm development and deployment procedures, and individual differences. We find that people rate the algorithm as more fair when the algorithm predicts in their favor, even surpassing the negative effects of describing algorithms that are very biased against particular demographic groups. We find that this effect is moderated by several variables, including participants' education level, gender, and several aspects of the development procedure. Our findings suggest that systems that evaluate algorithmic fairness through users' feedback must consider the possibility of outcome favorability bias.

연구 동기 및 목표

• 개인에게 유리한 결과가 알고리즘 결정의 지각된 공정성에 어떤 영향을 미치는지 이해한다.
• 그룹 기반의 편향되지 않은 대 편향된 결과가 지각된 공정성에 미치는 영향을 평가한다.
• 투명성 및 인간 참여를 포함한 개발 절차가 지각된 공정성에 미치는 영향을 검토한다.
• 교육, 컴퓨터 활용 능력, 인구통계학적 특성과 같은 개인 차이가 공정성 인식에 어떻게 조정하는지 조사한다.

제안 방법

• 제외를 반영한 MTurk에서 무작위 온라인 실험을 수행한다(샘플 크기 N ~ 579).
• 다음 여섯 가지 요인을 조작한다: (비)우호적 결과, (비)편향된 그룹 처리, 투명성 수준, 개발/디자인 팀, 모델 유형(ML 대 규칙), 의사결정 유형(오직 알고리즘 대 혼합).
• 참여자에게 MTurk Master 자격 알고리즘 및 결과(pass/fail)에 대한 설명을 제시하면서 결과 및 절차 세부 정보를 변화시킨다.
• 지각된 공정성을 6개의 7점 리커트 척도로 측정한다(Cronbach의 알파 = 0.91).
• 결과, 절차, 개인 차이로부터 지각된 공정성을 예측하는 선형회귀 모델을 사용해 데이터를 분석한다(대조 변수: 자기 기대).

실험 결과

연구 질문

• RQ1 개인 수준에서의 우호적 결과와 편향되지 않은 그룹 처리가 알고리즘 공정성 인식에 어떤 영향을 미치는가?
• RQ2 개발 절차(투명성과 인간 참여)의 공정성 인식에 미치는 효과는 무엇인가?
• RQ3 개인 차이(교육, 컴퓨터 활용 능력, 인구통계)가 지각된 공정성에 영향을 미치는가?
• RQ4 결과의 우호성 효과가 공정성 판단에 대한 편향되지 않은 대우의 효과보다 큰가?
• RQ5 교육과 절차의 투명성이 공정성 인식과 어떻게 상호작용하는가?

주요 결과

• 개인에게 유리한 결과 및 모든 그룹에서 편향되지 않은 대우에 따라 지각된 공정성이 증가한다.
• 개인의 우호적 결과가 공정성에 미치는 영향은 그룹의 편향되지 않은 처치 효과보다 크다.
• 높은 학력은 우호적 결과로 인한 공정성 증가를 약화시키고 편향된 그룹 처리에 대한 민감성을 확대한다.
• 개발을 외주화하거나 더 높은 투명성을 설명하는 것은 그룹 편향이 지각된 공정성에 미치는 부정적 영향을 증폭시킬 수 있다.
• 개발에 더 많은 인간 참여는 일반적으로 지각된 공정성을 높이며 인간-루프(human-in-the-loop) 관점을 지지한다.
• 전반적으로 결과 친화성은 통계적 공정성 지표를 넘어 공정성 판단에 편향을 일으킬 수 있으며, 결과 친화 편향을 시사한다.