[논문 리뷰] Are There Exceptions to Goodhart's Law? On the Moral Justification of Fairness-Aware Machine Learning

Hilde Weerts, Lambèr Royakkers외 1명|arXiv (Cornell University)|2022. 02. 17.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 공정성 인지 기계학습(fair-ml) 기법이 언제 정당화될 수 있는지 평가하기 위해 도덕적 추론 프레임워크를 개발한다. 특히, 인구 통계적 평등과 동일한 기회 같은 공정성 지표는 개인의 복지와 복지 또는 부담에 대한 도덕적 주장이 특정 조건을 충족할 때에만 간섭을 정당화한다고 주장한다. 연구는 하드트 등(2016)의 후처리 방법과 같은 알고리즘을 통해 이러한 지표를 최적화할 경우, 특히 수준 낮추기(leveling down)와 일관성 결여 등의 부작용이 발생함으로써 공정하지 않은 결과가 초래될 수 있음을 보여준다. 이는 지표가 충족된다고 해도 여전히 공정하지 않은 결과가 발생할 수 있음을 의미한다.

ABSTRACT

Fairness-aware machine learning (fair-ml) techniques are algorithmic interventions designed to ensure that individuals who are affected by the predictions of a machine learning model are treated fairly. The problem is often posed as an optimization problem, where the objective is to achieve high predictive performance under a quantitative fairness constraint. However, any attempt to design a fair-ml algorithm must assume a world where Goodhart's law has an exception: when a fairness measure becomes an optimization constraint, it does not cease to be a good measure. In this paper, we argue that fairness measures are particularly sensitive to Goodhart's law. Our main contributions are as follows. First, we present a framework for moral reasoning about the justification of fairness metrics. In contrast to existing work, our framework incorporates the belief that whether a distribution of outcomes is fair, depends not only on the cause of inequalities but also on what moral claims decision subjects have to receive a particular benefit or avoid a burden. We use the framework to distil moral and empirical assumptions under which particular fairness metrics correspond to a fair distribution of outcomes. Second, we explore the extent to which employing fairness metrics as a constraint in a fair-ml algorithm is morally justifiable, exemplified by the fair-ml algorithm introduced by Hardt et al. (2016). We illustrate that enforcing a fairness metric through a fair-ml algorithm often does not result in the fair distribution of outcomes that motivated its use and can even harm the individuals the intervention was intended to protect.

연구 동기 및 목표

• 공정성 인지 기계학습 기법에서 공정성 지표를 선택하고 적용하는 데 있어 도덕적 지침의 부족을 해결하기 위해.
• 인구 통계적 평등과 동일한 기회 같은 공정성 지표가 특정 조건 하에서 도덕적으로 정당화될 수 있는지 분석하기 위해.
• 특히 하드트 등(2016)의 후처리 알고리즘을 통해 그룹별 또는 랜덤화된 결정 임계값을 조정함으로써 공정성을 최적화하는 알고리즘의 도덕적 함의를 조사하기 위해.
• 공정성 지표를 충족한다고 해서 복지와 부담의 분배가 공정한 것이라고 가정하는 것을 도전하기 위해.
• 최적화 목표를 넘어서 정책적 공정성과 분배적 공정성을 포함한 통합적 평가를 통해 공정성 인지 기계학습 알고리즘을 평가할 것을 주장하기 위해.

제안 방법

• 저자들은 허트베크 등(2021)의 프레임워크를 확장하여, 결정 대상자의 예측 결과에 대한 복지와 그들의 복지 또는 부담에 대한 도덕적 주장까지 통합한다.
• 이 확장된 프레임워크를 활용해 대출 승인, 채용, 의료 분야의 세 가지 구조화된 실제 사례에서 인구 통계적 평등과 동일한 기회라는 두 가지 공정성 지표를 평가한다.
• 하드트 등(2016)의 후처리 알고리즘을 분석하며, 이는 그룹별로 오분류 비율을 동일하게 만들기 위해 결정 임계값을 조정한다.
• 두 가지 최적화 전략을 구분한다: 그룹별 고정 임계값과 그룹별 랜덤화 임계값으로, 그룹 수준의 공정성을 균형 잡는 데 사용된다.
• 수준 낮추기와 개인 대상 처리의 일관성 및 비례성 위반과 같은 도덕적 반론을 분석한다.
• 반례를 사용하여 공정성 지표를 충족하더라도 뜻하지 않은 부작용으로 인해 여전히 공정하지 않은 결과가 초래될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 인구 통계적 평등과 같은 공정성 지표의 사용이 도덕적으로 정당화되는 조건은 무엇인가?
• RQ2 개인의 복지와 복지 또는 부담에 대한 도덕적 주장은 공정성 지표의 도덕적 정당화에 어떻게 영향을 미치는가?
• RQ3 공정성 인지 기계학습 알고리즘을 통해 공정성 지표를 최적화할 경우, 지표가 충족된다고 해도 언제 불공정한 결과가 초래되는가?
• RQ4 후처리 공정성 인지 기계학습 알고리즘에서 그룹별 또는 랜덤화된 결정 임계값을 사용할 경우 도덕적 함의는 무엇인가?
• RQ5 공식적인 공정성 기준을 충족하더라도 언제 공정성 인지 기계학습 기법을 완전히 회피해야 하는가?

주요 결과

• 인구 통계적 평등과 동일한 기회 지표는 결정 대상자의 결과에 대한 복지와 그들의 복지 또는 부담에 대한 도덕적 주장이 공정성 지표와 올바르게 일치할 때에만 도덕적으로 정당화된다.
• 하드트 등(2016)의 후처리 알고리즘과 같은 방식으로 공정성 지표를 최적화할 경우, 더 유리한 그룹의 개인들이 간섭이 없었을 경우보다 더 나쁜 대우를 받는 '수준 낮추기' 반론이 발생할 수 있다.
• 랜덤화된 그룹별 결정 임계값은 일관성 원칙을 위반할 위험이 있으며, 개인의 특성과 무관하게 랜덤 예측을 부여함으로써 개인 수준의 공정성을 약화시킬 수 있다.
• 공정성 지표가 충족된다고 해도, 공정성의 단순화된 운영화로 인해 결과적인 복지와 부담의 분배가 공정한 할당을 반영하지 않을 수 있다.
• 공정성 지표를 최적화 목표로 삼는 것은 예측 정확도 감소와 일관성 없는 대우와 같은 해로운 부작용을 유발할 수 있으며, 이는 공정성 인지 기계학습의 핵심 목표를 뒤흔든다.
• 이 연구는 기술적 선택이 중립이 아니며 깊은 도덕적 함의를 지닌다고 결론내리며, 알고리즘 설계에서 투명성과 절차적 공정성이 필요하다고 주장한다.