[논문 리뷰] The four-fifths rule is not disparate impact: a woeful tale of epistemic trespassing in algorithmic fairness

Elizabeth Anne Watkins, Michael J. McKenna외 1명|arXiv (Cornell University)|2022. 02. 19.

Ethics and Social Impacts of AI인용 수 16

한 줄 요약

이 논문은 미국 고용법 지침으로서 기원한 네 개의 다섯 분할 규칙(4/5 규칙)을 단독의 공정성 지표로 오용하는 알고리즘 공정성 공동체의 문제를 비판한다. 이는 법적 개념을 왜곡하고 윤리적 피해를 초래할 수 있는 지식적 침범(epistemic trespassing)을 구성한다. 저자들은 이 추상화가 인기 있는 AI 툴킷에 코딩되어 있음에도 불구하고, 차별적 영향을 수량화 가능한 임계값으로 오해하게 하여 실제 의사결정 시스템에서 오해의 여지가 있는 준거적 혼란(deontic confusion)과 잘못된 준수 주장이 발생하게 된다고 밝힌다.

ABSTRACT

Computer scientists are trained to create abstractions that simplify and generalize. However, a premature abstraction that omits crucial contextual details creates the risk of epistemic trespassing, by falsely asserting its relevance into other contexts. We study how the field of responsible AI has created an imperfect synecdoche by abstracting the four-fifths rule (a.k.a. the 4/5 rule or 80% rule), a single part of disparate impact discrimination law, into the disparate impact metric. This metric incorrectly introduces a new deontic nuance and new potentials for ethical harms that were absent in the original 4/5 rule. We also survey how the field has amplified the potential for harm in codifying the 4/5 rule into popular AI fairness software toolkits. The harmful erasure of legal nuances is a wake-up call for computer scientists to self-critically re-evaluate the abstractions they create and use, particularly in the interdisciplinary field of AI ethics.

연구 동기 및 목표

• 미국 고용법에서 유래한 네 개의 다섯 분할 규칙이 AI의 일반적 공정성 지표로 추상화될 때 발생하는 지식적 침범을 폭 드러내는 것.
• 이 추상화가 원래의 법적 의미인 차별적 영향의 개념을 어떻게 왜곡하고, 윤리적 및 규제적 함의를 잘못 이끌어내는지 분석하는 것.
• 이 잘못된 지표가 주요 AI 공정성 툴킷에 어떻게 확산되어 다양한 분야에서 오용되고 있는지 기록하는 것.
• 80% 기준을 보편적인 공정성 기준으로 간주하는 데서 발생하는 준거적 위험(deontic risks)을 부각하는 것. 이 기준은 좁은 법적 기원을 지닌 바, 보편적 적용에 부적절하다.
• 특히 다학제적 AI 윤리 연구에서 추상화에 대한 컴퓨터 과학 분야의 더 큰 자기비판을 촉구하는 것.

제안 방법

• 미국 정부 출판국에서 1978년에 규정한 미국 고용법의 원본 규제 문서인 네 개의 다섯 분할 규칙(80% 규칙)을 분석한다.
• 차별적 영향(DI) 지표를 성격적 상징(시네코도체)으로 정의한다: 보호 그룹과 다数 그룹 간 선택 확률의 비율을 사용하여 잠재적 차별을 경고한다.
• 이 지표가 법적 준수에서 알고리즘 공정성 툴킷(예: Fairlearn, H2O.ai, Salesforce Einstein, Fairplay AI)으로 이행된 역사를 추적한다.
• 이 지표가 법적 근거 없이 비미국 및 비고용 분야(예: 주거, 금융)로까지 확대 적용되고 있음을 입증한다.
• 80% 기준을 충족하는 것이 법적 준수를 의미한다고 잘못 가정하는 문제적 가정을 특정한다. 이는 차별적 영향을 심문하는 전체 법적 절차를 간과한다.
• Feldman 등(2015)의 '차별적 영향 제거 기법'을 비판한다. 이는 이 추상화를 실체화한 것으로, 법적 기준이 아니라 해결책으로 간주하는 오류를 반복한다.

실험 결과

연구 질문

• RQ1 미국 고용법에서 유래한 네 개의 다섯 분할 규칙이 알고리즘 공정성에서 일반적 공정성 지표로 어떻게 추상화되었는가?
• RQ2 80% 기준을 보편적 공정성 기준으로 간주할 때 발생하는 지식적 및 준거적 결과는 무엇인가?
• RQ3 인기 있는 AI 공정성 툴킷이 이 추상화를 얼마나 널리 퍼뜨렸으며, 그 확산이 초래하는 사회적 위험은 무엇인가?
• RQ4 DI 지표를 법적 차별적 영향 결과와 혼동하는 것이 지식적 침범의 형태인 이유는 무엇인가?
• RQ5 이 지표의 오용이 AI 시스템에서 적절한 법적 추론과 윤리적 의사결정을 어떻게 약화시키는가?

주요 결과

• 네 개의 다섯 분할 규칙는 원래 단독의 공정성 지표로 의도된 바 없었으며, 고용 차별에 대한 규제 지침이지 일반적 공정성 기준이 아니었다.
• DI 지표( |Pr(C=YES|X=0)/Pr(C=YES|X=1)| ≤ 0.8 )는 법적 개념인 차별적 영향을 잘못 표현하는 실체화된 추상화이다.
• Fairlearn, H2O.ai, Salesforce Einstein, Fairplay AI와 같은 인기 있는 AI 공정성 툴킷은 DI 지표를 내장하고 있으며, 다양한 분야에 걸쳐 법적 관련성이 있다고 잘못 암시한다.
• 이 지표는 미국 외부의 관할권 및 비고용 분야(예: 주거, 금융)에 적용되고 있으나, 이 규칙이 미국 연방 고용법 외에서 채택된 바가 없음을 입증할 근거가 없다.
• 80% 기준을 충족하면 공정하다는 믿음은 실제 법적 추론과 맥락 기반 분석이 필요하다는 점을 가리키는 잘못된 준수의 오해를 초래한다.
• '차별적 영향 제거 기법'은 지표를 해결책으로 간주하여, 편향을 줄이는 것이 선택 비율 조정 문제일 뿐 아니라 체계적 법적 또는 윤리적 문제를 해결하는 것이 아니라는 오해를 강화한다.