[논문 리뷰] This Thing Called Fairness: Disciplinary Confusion Realizing a Value in Technology

Deirdre K. Mulligan, Joshua A. Kroll외 2명|arXiv (Cornell University)|2019. 09. 26.

Ethics and Social Impacts of AI참고 문헌 116인용 수 13

한 줄 요약

이 논문은 기술의 공정성에 대한 논의에서 발생하는 학문적 혼란을 해결하기 위해 이론, 불공정성, 보호, 제공이라는 차원을 포함하는 체계적인 공정성 분석 프레임워크를 제안한다. 이 프레임워크는 서로 다른 공정성 개념을 명확히 하여 다학제적 협업을 가능하게 하며, 형사사법 위험 평가 사례 연구를 통해 그 유용성을 입증하고, 합의가 필요하지 않은 이론적, 정치적, 실천적 갈등을 해결하는 데 도구를 제공한다.

ABSTRACT

The explosion in the use of software in important sociotechnical systems has renewed focus on the study of the way technical constructs reflect policies, norms, and human values. This effort requires the engagement of scholars and practitioners from many disciplines. And yet, these disciplines often conceptualize the operative values very differently while referring to them using the same vocabulary. The resulting conflation of ideas confuses discussions about values in technology at disciplinary boundaries. In the service of improving this situation, this paper examines the value of shared vocabularies, analytics, and other tools that facilitate conversations about values in light of these disciplinary specific conceptualizations, the role such tools play in furthering research and practice, outlines different conceptions of "fairness" deployed in discussions about computer systems, and provides an analytic tool for interdisciplinary discussions and collaborations around the concept of fairness. We use a case study of risk assessments in criminal justice applications to both motivate our effort--describing how conflation of different concepts under the banner of "fairness" led to unproductive confusion--and illustrate the value of the fairness analytic by demonstrating how the rigorous analysis it enables can assist in identifying key areas of theoretical, political, and practical misunderstanding or disagreement, and where desired support alignment or collaboration in the absence of consensus.

연구 동기 및 목표

• 기술 분야에서 공정성에 대한 겹치지만 서로 다른 학문적 개념들이 초래하는 혼란을 해결하기 위해.
• 다양한 학문에서 공정성이 어떻게 개념화되는지를 명확히 하는 공통의 분석 프레임워크를 개발하기 위해.
• 기술의 가치에 대한 생산적인 대화를 지원하기 위한 도구를 제공하여 다학제적 연구 및 실천을 지원하기 위해.
• 형사사법 시스템의 위험 평가 사례 연구를 통해 프레임워크의 유용성을 입증하기 위해.
• 공정성 논의에서 이론적, 정치적, 실천적 오해를 식별하고 해결하기 위해 합의를 요구하지 않기 위해.

제안 방법

• 논문은 공정성 이론, 불공정성, 보호, 제공라는 네 가지 핵심 차원을 포함하는 공정성 분석 프레임워크를 구축한다.
• 각 차원은 이해관계자 시점, 시스템의 경계, 대상, 제공자 등의 구체적 하위 차원을 포함하여 개념적 차이를 명확히 한다.
• 의미, 범위, 맥락을 탐구하기 위한 질문을 통해 공정성을 작동 가능하게 하는 방법을 제시한다.
• 저자들은 이 프레임워크를 형사사법 시스템의 위험 평가 도구 사례 연구에 적용하여, 공정성 개념의 부정렬을 식별하는 데서 그 유용성을 입증한다.
• 공동어휘와 분석 도구의 역할이 기술의 가치를 위한 다학제적 인프라를 지원하는 데 중시된다.
• 개념적 분석과 사례 기반 설명을 통해 법학, 컴퓨터 과학, 철학, 사회과학 분야 간 공정성에 대한 다양한 이해를 매핑한다.

실험 결과

연구 질문

• RQ1 다양한 학문 분야에서 공정성 개념을 어떻게 다르게 이해하는가에 따라 다학제적 논의에서 혼란이 발생하는가?
• RQ2 다양한 학문 간 공정성 개념의 혼란을 해소하고 일치시키는 데 도움이 되는 분석 도구는 무엇인가?
• RQ3 체계적인 공정성 분석 프레임워크는 공정성 논의에서 이론적·실천적 갈등을 어떻게 해결할 수 있는가?
• RQ4 형사사법 위험 평가의 사례는 혼동된 공정성 개념이 초래하는 결과를 어떻게 설명하는가?
• RQ5 공동어휘와 분석 인프라는 기술의 가치에 대한 다학제적 협업을 어떻게 지원하는가?

주요 결과

• 논문은 학문적 차이로 인한 공정성 개념의 차이—예를 들어 절차적 공정성 대 비례적 공정성—이 다학제적 논의에서 생산적이지 않은 혼란을 유발함을 밝혀냈다.
• 공정성 분석 프레임워크는 서로 다른 정의의 공정성을 효과적으로 해소하여 다양한 학문 간 명확한 대화를 가능하게 하였다.
• 형사사법 위험 평가 사례 연구에서, 프레임워크는 공정성 주장이 종종 정의의 기준, 이해관계자, 시스템 경계에 대한 잠재적 갈등을 가리고 있음을 드러냈다.
• 프레임워크는 합의가 불가능한 영역과 합의가 가능한 영역를 식별하는 데서도 유용성을 입증하였으며, 핵심 정의에 대한 합의 없이도 가능하다는 점을 보여주었다.
• 연구는 공동 분석 도구가 기술 설계에서 가치 통합을 지원하는 연구 및 실천 인프라를 구축하는 데 필수적이라는 점을 보여주었다.
• 저자들은 이러한 도구가 단순히 유용한 것이 아니라, 사회기술 시스템에서 공정성에 대한 건설적인 작업을 발전시키기 위해 필수적이라고 결론내렸다.