[논문 리뷰] Fairness Behind a Veil of Ignorance: A Welfare Analysis for Automated Decision Making

Hoda Heidari, Claudio Ferrari외 2명|arXiv (Cornell University)|2018. 06. 13.

Ethics and Social Impacts of AI참고 문헌 27인용 수 45

한 줄 요약

논문은 체제에 기반한 복지 기반 공정성 측정치를 도입하고, 그것들을 학습의 볼록 제약으로 포함시키며, 실제 데이터셋에서 정확도 및 다른 공정성 개념과의 트레이드오프를 분석한다. 또한 복지의 하한이 결과의 불평등을 제한할 수 있음을 보인다.

ABSTRACT

We draw attention to an important, yet largely overlooked aspect of evaluating fairness for automated decision making systems---namely risk and welfare considerations. Our proposed family of measures corresponds to the long-established formulations of cardinal social welfare in economics, and is justified by the Rawlsian conception of fairness behind a veil of ignorance. The convex formulation of our welfare-based measures of fairness allows us to integrate them as a constraint into any convex loss minimization pipeline. Our empirical analysis reveals interesting trade-offs between our proposal and (a) prediction accuracy, (b) group discrimination, and (c) Dwork et al.'s notion of individual fairness. Furthermore and perhaps most importantly, our work provides both heuristic justification and empirical evidence suggesting that a lower-bound on our measures often leads to bounded inequality in algorithmic outcomes; hence presenting the first computationally feasible mechanism for bounding individual-level inequality.

연구 동기 및 목표

• 자동화된 의사결정에서 공정성을 평가할 때 평등 외에 위험과 복지의 고려 필요성을 유도한다.
• 자산 사회적 복지와 Rawlsian 아이디어에 연결된 복지 기반 공정성 척도들의 계열을 제안한다.
• 학습 중 복지 척도에 대한 하한을 강제하는 볼록 인-프로그래밍 방법을 개발한다.
• 복지, 정확도, 그룹 차별 및 개인 공정성 개념들 간의 트레이드오프를 경험적으로 분석한다.]
• method
• [
• 정답:

제안 방법

• 예측에 대한 이익(b(y, ŷ)) 함수와 CRRA 유틸리티 u(b) = b^α, 0 < α < 1을 정의한다.
• 복지 척도 Wα(b) = ∑i wα(bi) 및 wα(b) = b^α가 복지 하한을 강제할 때 볼록 제약을 산출함을 보인다.
• 제한된 최적화로서 학습 손실 L_D(h)를 최소화하되 U_D(h) ≥ τ를 만족시키며, 여기서 U_D(h) = E[u(b(y, h(x)))].
• 제안된 척도를 도량적 복지 함수 및 Pigou-Dalton 전달 원리와 연결하고, 이론적 속성 및 Atkinson 지수와의 관계를 확립한다.
• 프레임워크가 최적화 효율을 허용하고 볼록 손실 최소화 파이프라인에 통합될 수 있음을 논의한다.]
• research_questions
• [
• How can risk and welfare be incorporated into fairness evaluation for automated decision making beyond equality-based notions?
• What are the tradeoffs between welfare-based fairness, prediction accuracy, and other fairness notions (group, individual) in classification and regression tasks?
• Can enforcing a lower bound on welfare effectively bound inequality in algorithmic outcomes?
• How does the proposed framework relate to existing welfare and inequality measures (e.g., Atkinson index) under mean-preserving transformations?

실험 결과

연구 질문

• RQ1 질문: 자동화된 의사결정의 공정성 평가에서 위험과 복지를 평등 기반 개념을 넘어 어떻게 통합할 수 있는가?
• RQ2 질문: 분류 및 회귀 작업에서 복지 기반의 공정성, 예측 정확도, 그리고 다른 공정성 개념(그룹, 개인) 간의 트레이드오프는 무엇인가?
• RQ3 질문: 복지의 하한을 강제하는 것이 알고리즘적 결과의 불평等을 효과적으로 한정할 수 있는가?
• RQ4 질문: 평균 보존 변환하에서 제안한 프레임워크가 기존의 복지 및 불평등 측정치(예: 애킨슨 지수)와 어떻게 relation이 있는가?

주요 결과

• 복지 기반의 공정성 척도는 평균이 다르더라도 위험이 낮고 복지가 높은 분포를 선호하여, 평등만으로는 충분하지 않은 상황을 다룬다.
• 분석적 인-프로그래밍 제약은 분류와 회귀 모두에서 복지 하한을 강제하는 데 효율적인 최적화를 가능하게 한다.
• 실증 결과는 트레이드오프를 보여주며, 복지 임계값 τ를 높이거나 위험 회피 α를 강화하면 불평등과 그룹 간 격차가 감소하지만 정확도는 감소할 수 있다.
• 사회적 복지의 하한은 결과의 불평등을 한정하는 경향이 있어 개별 수준의 불평등을 제한하는 계산적으로 실행 가능한 메커니즘을 시사한다.
• 프레임워크는 α가 (0,1) 구간일 때 고정 평균에 대해 애킨슨 지수와 일관된 순위 정렬을 보이며, 복지와 불평등 개념을 연결한다.