[논문 리뷰] A Human-in-the-loop Framework to Construct Context-dependent Mathematical Formulations of Fairness

Mohammad Yaghini, Hoda Heidari외 1명|arXiv (Cornell University)|2019. 11. 08.

Ethics and Social Impacts of AI참고 문헌 22인용 수 5

한 줄 요약

이 논문은 히드라리 등이 제안한 평등 기회(EOP) 모델의 매개변수 校정을 통해 사람들의 판단을 활용하여 맥락 특화된 정의를 수립하는 인간-중심 프레임워크를 제안한다. 경제 모델에 인간의 정의감(예: 정당한 보상, 상황, 효용)을 통합함으로써, 맥락에 적응 가능한 정의 기반의 정의를 가능하게 하여, 인간의 판단이 알고리즘 정의의 사회적 미묘함을 포괄하는 데 필수적임을 입증한다.

ABSTRACT

Despite the recent surge of interest in designing and guaranteeing mathematical formulations of fairness, virtually all existing notions of algorithmic fairness fail to be adaptable to the intricacies and nuances of the decision-making context at hand. We argue that capturing such factors is an inherently human task, as it requires knowledge of the social background in which machine learning tools impact real people's outcomes and a deep understanding of the ramifications of automated decisions for decision subjects and society. In this work, we present a framework to construct a context-dependent mathematical formulation of fairness utilizing people's judgment of fairness. We utilize the theoretical model of Heidari et al. (2019)---which shows that most existing formulations of algorithmic fairness are special cases of economic models of Equality of Opportunity (EOP)---and present a practical human-in-the-loop approach to pinpoint the fairness notion in the EOP family that best captures people's perception of fairness in the given context. To illustrate our framework, we run human-subject experiments designed to learn the parameters of Heidari et al.'s EOP model (including circumstance, desert, and utility) in a hypothetical recidivism decision-making scenario. Our work takes an initial step toward democratizing the formulation of fairness and utilizing human-judgment to tackle a fundamental shortcoming of automated decision-making systems: that the machine on its own is incapable of understanding and processing the human aspects and social context of its decisions.

연구 동기 및 목표

• 기존 알고리즘 정의 기반의 현실 세계의 의사결정 맥락에 대한 적응성 부족 문제를 해결하기 위해.
• 정의를 정의하기 위해서는 자동화된 시스템만으로는 제공할 수 없는 사회적 맥락과 사회적 영향에 대한 인간의 이해가 필요하다는 것을 인식하기 위해.
• 맥락적 뉘앙스를 반영하기 위해 인간의 판단을 수학적 정의 기반 모델에 통합하는 실용적인 방법을 개발하기 위해.
• 정의에 대한 인식이 맥락에 따라 달라지며, 인간 대상 실험을 통해 체계적으로 캡처할 수 있음을 입증하기 위해.

제안 방법

• 경제 이론에서 기존의 정의 기반 개념들을 평등 기회(EOP)의 특수한 경우로 프레임하는 히드라리 등의 이론적 모델을 변형 적용하기 위해.
• 가상의 재범 위험 의사결정 상황에서 참가자들이 정의에 대해 어떻게 인식하는지 파악하기 위해 인간 대상 실험 설계하기 위해.
• EOP의 세 핵심 매개변수인 상황, 정당한 보상, 효용에 대한 인간의 판단을 수집하여 정의 기반 모델 校정하기 위해.
• 이러한 판단을 바탕으로 주어진 맥락에서 인간의 정의 인식과 가장 잘 일치하는 특정 EOP 수식을 식별하기 위해.
• 집단적 인간 입력을 기반으로 반복적으로 정의 기반 모델을 개선하기 위해 인간-중심 접근법 적용하기 위해.
• 최종적으로 도출된 정의 기반 정의를 실제 시스템에 구현 가능한 맥락 의존 수학 모델로 정형화하기 위해.

실험 결과

연구 질문

• RQ1 특정 의사결정 맥락에서 EOP 가족 내 특정 수식 중 인간의 정의 인식을 가장 잘 반영하는 것은 무엇인가?
• RQ2 인간의 판단이 정당한 보상, 상황, 효용에 대해 다양한 사회적 및 의사결정 맥락에서 어떻게 다를 수 있는가?
• RQ3 인간의 입력이 알고리즘 정의와 사회적 가치 간의 일치를 어느 정도 향상시킬 수 있는가?
• RQ4 체계적인 인간-중심 프로세스가 신뢰성 있게 맥락 특화 정의 기반 정의를 식별할 수 있는가?
• RQ5 인간이 느끼는 정의 기반 판단은 표준 알고리즘 정의 기반 지표와 어떻게 다를 수 있는가?

주요 결과

• 특히 정당한 보상과 상황에 대한 인간의 판단이 맥락에 따라 상당히 다름을 보이며, 이는 정의가 보편적으로 정의되지 않는다는 것을 시사한다.
• 인간 입력을 校정한 EOP 모델은 표준 정의 기반 지표보다 참가자들의 정의 인식과 더 잘 일치하는 정의 수식을 도출하였다.
• 참가자들의 정의 인식은 개인의 능력(정당한 보상)과 배경 상황과 같은 맥락적 요소에 민감했으며, 이는 표준 정의 기반 정의에서 자주 간과되는 요소이다.
• 인간-중심 프레임워크는 뉘앙스 있는 사회적 가치를 반영한 맥락 특화 정의 기반 수식을 성공적으로 식별하였다.
• 본 연구는 인간의 판단이 현실 세계의 사회적 및 윤리적 고려를 반영하는 정의 기반 모델을 수립하는 데 필수적임을 입증한다.