[논문 리뷰] Dimensions of Diversity in Human Perceptions of Algorithmic Fairness

Nina Grgić-Hlača, Gabriel Lima외 2명|arXiv (Cornell University)|2020. 05. 02.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 연구는 사회경제적 요인과 개인적 경험들이 보석 결정에서의 알고리즘 공정성에 대한 인간의 인식에 어떻게 영향을 미치는지 조사한다. 미국에서 실시한 329명의 참가자 대상 설문 조사 결과, 정치적 이념과 직접 경험, 특히 보석 听證에 참석한 경험이 공정성 판단에 특히 영향을 미치며, 이는 청소년 범죄 기록 사용과 관련하여 두드러진다. 이는 알고리즘 감시위원회에 다양한 배경을 가진 구성원이 포함되어야 한다는 필요성을 강조한다.

ABSTRACT

A growing number of oversight boards and regulatory bodies seek to monitor and govern algorithms that make decisions about people's lives. Prior work has explored how people believe algorithmic decisions should be made, but there is little understanding of how individual factors like sociodemographics or direct experience with a decision-making scenario may affect their ethical views. We take a step toward filling this gap by exploring how people's perceptions of one aspect of procedural algorithmic fairness (the fairness of using particular features in an algorithmic decision) relate to their (i) demographics (age, education, gender, race, political views) and (ii) personal experiences with the algorithmic decision-making scenario. We find that political views and personal experience with the algorithmic decision context significantly influence perceptions about the fairness of using different features for bail decision-making. Drawing on our results, we discuss the implications for stakeholder engagement and algorithmic oversight including the need to consider multiple dimensions of diversity in composing oversight and regulatory bodies.

연구 동기 및 목표

• 사회경제적 요인과 개인적 경험들이 알고리즘 의사결정에서의 공정성 인식에 어떻게 영향을 미치는지 조사하기.
• 정치적 시각과 삶의 경험들이 보석 결정에서 특정 기능(예: 범죄 기록 등) 사용에 대한 판단에 미치는 영향을 검토하기.
• 공정성 인식에 영향을 미치는 다원적 요소를 특정하여, 다양한 감시 및 규제 기구의 구성에 정보를 제공하기.
• 단순한 인구 통계적 다양성 초월하여, 특정 맥락에서의 개인적 경험들이 알고리즘 공정성에 대한 도덕적 판단을 어떻게 형성하는지 탐색하기.

제안 방법

• 미국의 329명의 참가자를 대상으로 보석 결정에서 알고리즘 기능의 공정성 인식을 평가하기 위해 인간 대상 설문 조사를 실시하였다.
• 연령, 교육 수준, 성별, 인종, 정치적 시각 등의 인구통계학적 정보와 보석 听증 참석 등의 개인적 경험을 수집하였다.
• 12개의 알고리즘 기능에 대해 공정성 평가를 리커트 척도로 측정하기 위해 표준화된 질문지 사용하였다.
• 인구통계 변수, 개인적 경험, 공정성 판단 간의 관계를 분석하기 위해 통계적 분석을 적용하였다.
• 혼란 변수를 보정하고 회귀 모델을 사용하여 유의성 여부를 검증하였다.
• 자기 중심 편향 및 개인적 경험을 통한 정보 획득과 같은 잠재적 메커니즘을 탐색하였다.

실험 결과

연구 질문

• RQ1 정치적 시각은 특정 기능을 사용한 알고리즘 보석 결정의 공정성 인식에 어떻게 영향을 미치는가?
• RQ2 보석 听증 참석과 같은 개인적 경험은 알고리즘 기능에 대한 공정성 판단에 어느 정도의 영향을 미치는가?
• RQ3 특정 인구통계적 요인(예: 인종, 교육 수준, 성별) 중에서 공정성 인식의 차이를 유의미하게 예측하는 요소가 있는가?
• RQ4 개인적 경험과 정치적 이념이 공정성 판단에 어떻게 상호작용하는가?
• RQ5 구체적 맥락 지식(예: 청소년 기록의 법적 보호 조치에 대한 인지)은 공정성 인식에 어떤 역할을 하는가?

주요 결과

• 좌익 성향을 가진 개인들은 특정 기능을 사용하는 데 관계없이 우익 성향을 가진 사람들보다 알고리즘 보석 결정의 공정성을 낮게 평가하는 경향이 지속적으로 나타났다.
• 보석 听증에 참석한 참가자들은 청소년 범죄 기록 사용을 공정하게 보는 경향이 유의미하게 낮아, 직접 경험의 영향력이 크다는 것을 시사한다.
• 정치적 이념을 보정한 후에도 보석 听증 참석 경험이 청소년 범죄 기록 사용의 공정성 인식과 음의 상관관계를 보였다.
• 정치적 이념은 대부분의 인구통계적 요인보다 공정성 판단의 더 강력한 예측 변수로 나타나, 감시 기구에 있어 핵심적인 다양성 차원임을 시사한다.
• 보석 听증 참석과 같은 개인적 경험은 더 나은 정보나 맥락 기반의 공정성 판단을 이끌 수 있지만, 맥락에 따라 편향을 유발할 수도 있다.
• 법적 보호를 받는 특정 데이터(예: 청소년 기록)에 대한 인지도가 일반 대중에게 낮을 수 있으며, 개인적 노출 여부가 공정성 인식에 유의미한 영향을 미칠 수 있음을 연구는 드러냈다.