[논문 리뷰] Distributive Justice as the Foundational Premise of Fair ML: Unification, Extension, and Interpretation of Group Fairness Metrics

Joachim Baumann, Corinna Hertweck외 2명|arXiv (Cornell University)|2022. 06. 06.

Social and Intergroup Psychology인용 수 5

한 줄 요약

이 논문은 분배 정의 이론에 기반하여 기계학습에서의 군집 정의성 지표를 통합하는 프레임워크를 제안한다. 이 프레임워크는 유틸리티 측정, 관련 그룹, 요구 권리의 기준이 되는 요소, 정의의 패턴이라는 네 가지 규범적 구성요소를 도입하여 기존의 정의성 지표를 해석하고 확장함으로써, 평등 기반 접근을 넘어서는 맥락에 민감하고 도덕적으로 기반한 정의성 평가를 가능하게 한다.

ABSTRACT

Group fairness metrics are an established way of assessing the fairness of prediction-based decision-making systems. However, these metrics are still insufficiently linked to philosophical theories, and their moral meaning is often unclear. In this paper, we propose a comprehensive framework for group fairness metrics, which links them to more theories of distributive justice. The different group fairness metrics differ in their choices about how to measure the benefit or harm of a decision for the affected individuals, and what moral claims to benefits are assumed. Our unifying framework reveals the normative choices associated with standard group fairness metrics and allows an interpretation of their moral substance. In addition, this broader view provides a structure for the expansion of standard fairness metrics that we find in the literature. This expansion allows addressing several criticisms of standard group fairness metrics, specifically: (1) they are parity-based, i.e., they demand some form of equality between groups, which may sometimes be detrimental to marginalized groups; (2) they only compare decisions across groups but not the resulting consequences for these groups; and (3) the full breadth of the distributive justice literature is not sufficiently represented.

연구 동기 및 목표

• 기존 군집 정의성 지표의 규범적 기반 부족 문제를 해결하기 위해 분배 정의 이론의 철학적 이론과 연결한다.
• 다양한 군집 정의성 기준을 하나의 해석 가능한 프레임워크로 통합하여 그 배후의 도덕적 가정을 드러낸다.
• 표준 정의성 지표를 평등 기반 개념을 넘어서 비동등한 정의 원칙을 포함하는 방식으로 확장한다.
• 특정 응용 분야에 맞게 조정 가능한 맥락 민감한 새로운 정의성 기준을 설계하기 위한 체계적 방법을 제공한다.
• 정의성 지표의 도덕적 본질을 명시적으로 드러내기 위해 그 설계에 내재된 규범적 선택을 명확히 한다.

제안 방법

• 프레임워크는 네 가지 핵심 구성요소로 이루어져 있다: (1) 결정 대상자의 유틸리티, 즉 복리 또는 피해가 어떻게 측정되는지를 정의한다; (2) 관련 그룹, 비교 대상이 되는 사회적 그룹을 특정한다; (3) 요구 권리의 기준이 되는 요소, 불균등한 유틸리티 배분을 정당화하는 특징을 식별한다; (4) 정의의 패턴, 정당한 배분이 무엇인지를 정의한다.
• 기존의 정의성 지표(예: 민족적 평등, 동일 기회)를 특수한 경우로 해석하여 그 배후의 규범적 가정을 드러낸다.
• 기타 정의 이론, 예를 들어 우선순위주의 또는 충분주의를 포함시켜 평등 기반 외부로 정의를 확장함으로써, 맥락에 민감한 정의성 기준을 가능하게 한다.
• 유틸리티 행렬을 사용하여 결과를 정량화하고, 반사적 가정과 다른 분류기들을 포함한 다양한 조건에서 그룹 간 분포를 비교한다.
• 구성요소를 다양화함으로써 새로운 정의성 지표를 구성할 수 있도록 하며, 예를 들어 예측 확률 외에도 실제 세계의 결과(예: 의료 결과)에 기반한 유틸리티 정의 방식을 포함한다.
• 철학적 정의 이론을 통해 정의성 지표를 해석할 수 있는 시각을 제공함으로써, 알고리즘적 평등을 넘어서 도덕적으로 기반한 평가로의 전환을 이룬다.

실험 결과

연구 질문

• RQ1 어떻게 군집 정의성 지표를 분배 정의 이론에 기반한 단일 규범적 프레임워크 아래에서 체계적으로 통합할 수 있는가?
• RQ2 표준 군집 정의성 지표에 내재된 암묵적인 도덕적 가정은 무엇이며, 어떻게 이를 명시화할 수 있는가?
• RQ3 어떤 방식으로 정의성 지표를 평등 기반 개념을 넘어서 비동등한 정의 원칙을 포함하도록 확장할 수 있는가?
• RQ4 어떤 원칙적이고 규범적으로 정보를 갖춘 프레임워크를 통해 정의성 기준을 특정 응용 맥락에 맞게 조정할 수 있는가?
• RQ5 다른 분배 정의 이론(예: 우선순위주의, 충분주의)은 기계학습 정의성 지표에 얼마나 포괄적으로 형식화되고 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 민족적 평등, 동일 기회, 등가된 오차와 같은 주요 군집 정의성 지표를 일반적인 분배 정의 원칙의 구체적 적용 사례로 해석함으로써 성공적으로 통합하였다.
• 프레임워크는 표준 정의성 지표가 일반적으로 실용에서 암묵적으로 남아 있는 특정 규범적 선택(예: 평등주의 또는 우선순위주의)을 드러내었다.
• 요구 권리의 기준이 되는 요소와 다른 정의 패턴을 도입함으로써, 프레임워크는 단지 평등 기반에 의존하지 않는 정의성 지표의 창출을 가능하게 하여 기존 접근의 주요 비판에 대응한다.
• 프레임워크는 반사적 정의성과 선호 기반 통계적 평등을 특수한 경우로 형식화할 수 있으며, 이는 다양한 결정 체계 간 유틸리티 분포를 비교하는 방식을 보여준다.
• 이 접근은 정의성 평가가 단지 그룹 간 결과 비교를 넘어서, 어떤 시스템이 대체 시스템 대비 모든 그룹의 결과를 향상시키는지 평가하는 데에도 활용될 수 있음을 보여준다.
• 연구는 유틸리티 함수를 맥락 특화 방식으로 정의할 수 있음을 보여주었으며(예: 의료 사례에서), 실제 적용은 현실 세계의 유틸리티를 정량화하기 어려움으로 인해 여전히 도전 과제로 남아 있다.