[논문 리뷰] What Is Fairness? On the Role of Protected Attributes and Fictitious Worlds

Ludwig Bothmann, Kristina Peters외 1명|arXiv (Cornell University)|2022. 05. 19.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 철학적 원리와 인과적 추론을 기반으로 기계학습에서의 공정성에 대한 형식화를 시도하며, 보호적 속성(PAs)이 결과에 영향을 미치지 않는 가상의 이상적(노르마티브로 바람직한) 세계(FiND 세계)를 제안한다. 예측 성능은 공정성과의 상충 관계가 아니라 필수 조건이며, FiND 세계를 근사하기 위한 왜곡된 세계(warped world) 프레임워크를 도입하여, 보호적 속성이 없이도 인과적 공정성 평가가 가능하게 하며, 불균등한 개인에 대해 공정하지만 동일하지 않은 대우를 보장한다.

ABSTRACT

A growing body of literature in fairness-aware machine learning (fairML) aims to mitigate machine learning (ML)-related unfairness in automated decision-making (ADM) by defining metrics that measure fairness of an ML model and by proposing methods to ensure that trained ML models achieve low scores on these metrics. However, the underlying concept of fairness, i.e., the question of what fairness is, is rarely discussed, leaving a significant gap between centuries of philosophical discussion and the recent adoption of the concept in the ML community. In this work, we try to bridge this gap by formalizing a consistent concept of fairness and by translating the philosophical considerations into a formal framework for the training and evaluation of ML models in ADM systems. We argue that fairness problems can arise even without the presence of protected attributes (PAs), and point out that fairness and predictive performance are not irreconcilable opposites, but that the latter is necessary to achieve the former. Furthermore, we argue why and how causal considerations are necessary when assessing fairness in the presence of PAs by proposing a fictitious, normatively desired (FiND) world in which PAs have no causal effects. In practice, this FiND world must be approximated by a warped world in which the causal effects of the PAs are removed from the real-world data. Finally, we achieve greater linguistic clarity in the discussion of fairML. We outline algorithms for practical applications and present illustrative experiments on COMPAS data.

연구 동기 및 목표

• 수세기 동안의 철학적 공정성 논의와 현대의 공정성 인식 기계학습(fairML) 간 격차를 메우기 위해.
• 공정성의 노르마티브 기초를 명확히 하여, fairML의 역할이 사회정치적 및 법적 책임과 어떻게 다를 수 있는지 구분하기 위해.
• 보호적 속성(PAs)이 존재하지 않더라도 공정성 문제의 발생 가능성을 입증하여, 공정성과 예측 성능 간의 상충 관계가 잘못된 인식임을 도전하기 위해.
• 보호적 속성이 결과에 영향을 미치지 않는 가상의 이상적(노르마티브로 바람직한) 세계(FiND 세계)를 형식화하고, 실용적인 공정성 평가를 위한 왜곡된 세계 근사치를 제안하기 위해.
• 일률적인 공정성 지표의 함정을 피하기 위해, 노르마티브 규정과 인과 모델링을 통해 공정하지만 동일하지 않은 대우(수직적 형평성)를 실현하기 위해.

제안 방법

• 등급화된 대우와 노르마티브 규정에 기반한 철학적 프레임워크를 활용해 공정성을 형식화한다.
• 보호적 속성(PAs)이 결과에 영향을 미치지 않는 가상의 이상적(노르마티브로 바람직한) 세계(FiND 세계) 개념을 도입한다.
• 실제 세계 데이터에서 PAs의 인과적 영향을 제거하여 FiND 세계를 실용적으로 근사하는 왜곡된 세계(warped world)를 제안한다.
• 인과 추론 기법을 활용해 PAs의 인과적 영향을 추정하고 제거함으로써, 왜곡된 세계에서 기계학습 모델의 훈련과 평가를 가능하게 한다.
• 반사적 추론과 개인별 캘리브레이션 기반의 공정성 기준을 정의하여, PAs 없이도 모델이 공정하게 작동하도록 보장한다.
• 비기계학습 전문가가 공정성 목표를 정의할 수 있도록, 사회적 가치에 중점을 두고 기술적 지표만을 고려하지 않는 세 가지 질문 기반의 노르마티브 프레임워크를 개선한다.

실험 결과

연구 질문

• RQ1 철학적 공정성 개념은 자동결정(Auto-Decision Making, ADM)에 적용되는 기계학습에 대해 일관되게 형식화되고 적용될 수 있는가?
• RQ2 보호적 속성(PAs)이 존재하지 않더라도 기계학습 모델에서 공정성 문제가 발생할 수 있는 정도는 어느 정도인가?
• RQ3 인과적 추론은 공정성 평가 및 모델 훈련에 체계적으로 통합되어야 하며, 노르마티브로 타당한 결과를 보장할 수 있는가?
• RQ4 예측 성능은 공정성 달성에 어떤 역할을 하는가? 왜 이는 상충 관계가 아니라 필수 조건인가?
• RQ5 어떻게 공식화된 노르마티브 규정과 인과 모델링을 통해 공정하지만 동일하지 않은 대우(수직적 형평성)를 달성할 수 있는가?

주요 결과

• 공정성 문제들은 보호적 속성이 없더라도 주로 개인별 캘리브레이션의 열악함으로 인해 발생할 수 있으며, PAs 존재 여부 때문이 아니라는 점.
• 예측 성능은 공정성과 충돌하지 않으며, 오히려 공정성을 달성하기 위한 필수 조건이며, 일반적으로 널리 인식되는 상충 관계의 서사에 도전한다.
• 제안된 가상의 이상적(노르마티브로 바람직한) 세계(FiND 세계) 프레임워크는 PAs가 결과에 영향을 미치지 않는 세계를 상상함으로써 인과적 공정성 이해를 가능하게 한다.
• FiND 세계를 근사하기 위해 사용되는 왜곡된 세계는, 인과적 공정성 제약 하에 실용적인 기계학습 모델 훈련과 평가를 가능하게 한다.
• 노르마티브 규정을 통해 불균등한 개인에 대해 공정하지만 동일하지 않은 대우를 가능하게 하여 수직적 형평성을 지원하며, 단순한 동등한 대우가 아닌 방식이다.
• 공정성 논의의 모호성을 줄이기 위해 명확히 노르마티브 결정(예: 공정성 목표 정의)과 기술적 기계학습 구현을 분리한다.