[논문 리뷰] An Intersectional Definition of Fairness

James R. Foulds, Shimei Pan외 2명|arXiv (Cornell University)|2018. 07. 01.

Ethics and Social Impacts of AI참고 문헌 33인용 수 19

한 줄 요약

이 논문은 인종, 성별, 계급 등 겹치는 사회적 정체성을 고려하여 전통적인 정의를 초월하는 인공지능 및 기계학습을 위한 교차 정의 프레임워크를 제안한다. 차별적 정의(DF), DF 편향 증폭, 조작자와 함께한 차별적 정의(DFC)라는 세 가지 새로운 정의 기준을 제안하고, 이러한 기준을 강제하는 학습 알고리즘을 개발하여, 특히 COMPAS 및 Adult와 같은 실세계 데이터셋에서 하위군 정의보다 소수자 집단에 대해 더 높은 정의를 달성함을 입증한다.

ABSTRACT

We propose definitions of fairness in machine learning and artificial intelligence systems that are informed by the framework of intersectionality, a critical lens arising from the Humanities literature which analyzes how interlocking systems of power and oppression affect individuals along overlapping dimensions including gender, race, sexual orientation, class, and disability. We show that our criteria behave sensibly for any subset of the set of protected attributes, and we prove economic, privacy, and generalization guarantees. We provide a learning algorithm which respects our intersectional fairness criteria. Case studies on census data and the COMPAS criminal recidivism dataset demonstrate the utility of our methods.

연구 동기 및 목표

• 기존의 기계학습 정의 정의가 겹치는 사회적 정체성을 고려하지 못하는 한계를 해결하기 위해.
• 인종, 성별, 계급 및 기타 차원에서의 체계적 억압을 인정하는 교차 정의 이론에 기반한 정의 기준을 개발하기 위해.
• 하위군 정의 기준이 약화시키는 불평등을 피하기 위해, 특히 소수자 소수군을 포함한 모든 하위군에 대해 정의 기준이 공정하도록 보장하기 위해.
• 제안된 프레임워크에서 개인정보 보호, 경제적 정의, 일반화에 대한 이론적 보장을 제공하기 위해.
• 실세계 데이터셋에서 방법을 실증적으로 검증하여, 하위군 정의보다 소수자 집단을 보호하는 데서 뛰어난 성능을 보여주기 위해.

제안 방법

• 보호된 속성으로 정의된 모든 교차 하위군에 대해 공정한 대응을 보장하는 정의 기준으로 차별적 정의(DF)를 제안한다.
• 알고리즘이 원래 데이터 분포보다 편향을 얼마나 증폭시키는지 측정하기 위해 DF 편향 증폭을 도입한다.
• 결과 분포에 영향을 주는 외부 요인을 조정하기 위해 조작자와 함께한 차별적 정의(DFC)를 개발하여 실세계 환경에서의 정의를 향상시킨다.
• DF, DF 편향 증폭, DFC를 최적화하는 학습 알고리즘을 설계하여, 모델 학습 중 정의 제약 조건을 강제하기 위해 제약 최적화를 사용한다.
• 하위군 간 정의 측정의 비평등성을 수량화하기 위해 기존 지니 계수 기반 기준을 사용하여 정의 분포 공정성의 비교를 가능하게 한다.
• COMPAS 및 Adult 캐논 데이터셋에 이 프레임워크를 적용하여, 실제 데이터와 훈련된 로지스틱 회귀 모델을 사용해 여러 보호 속성 조합에 걸쳐 정의를 평가한다.

실험 결과

연구 질문

• RQ1 인종과 성별과 같은 다중 보호 속성의 교차를 고려하여 AI의 정의를 어떻게 재정의할 수 있는가?
• RQ2 제안된 차별적 정의(DF) 기준이 크기가 다른 모든 하위군, 특히 소수자 소수군에 대해 공정한 정의 측정을 보장하는가?
• RQ3 γ-SF 정의 기준이 교차 정의를 얼마나 잘 유지하지 못하는가? 그리고 정의 분포 공정성 측면에서 ϵ-DF와 비교해 볼 때 어떠한가?
• RQ4 제안된 정의 기준과 학습 알고리즘이 실세계 데이터셋에서 복잡한 인구 통계적 교차가 있는 경우 하위군 정의보다 소수자 집단에 대해 더 나은 정의를 달성할 수 있는가?
• RQ5 혼란 변수는 정의에 어떤 영향을 미치며, DFC는 이러한 영향을 효과적으로 조정할 수 있는가?

주요 결과

• ϵ-DF 기준은 Adult에서 0.099, COMPAS에서 0.151로 지니 계수를 상당히 낮게 나타내어, γ-SF(각각 0.256 및 0.376)보다 하위군 간 정의 고려의 분포가 더 공정함을 시사한다.
• COMPAS 데이터셋에서 ϵ-DF는 더 많은 보호 속성을 추가할 때도 정의 값이 증가하지 않도록 하여 교차 정의를 유지했지만, γ-SF는 이 성질을 위반했다 (예: 성별의 γ > 인종×성별의 γ).
• DF-Classifier는 ϵ-DF와 γ-SF 모두에서 모든 그룹 크기에서 그룹별 정의를 향상시켰지만, SF-Classifier는 작은 그룹에 대해 γ-SF 정의를 향상시키지 못했다.
• Adult 데이터셋에서 ϵ-DF는 국적에 대해 지니 계수 0.2177을 기록했고, γ-SF는 0.0045를 기록하여 γ-SF가 소수자 집단을 과도하게 낮게 평가함을 나타낸다.
• ϵ-DF 기준은 큰 그룹과 작은 그룹 모두에서 높은 그룹별 ϵ 값을 보이며 모든 그룹을 동일하게 정의 측정에 대응했지만, γ-SF는 더 큰 그룹을 선호했다.
• 연구는 하위군 정의(γ-SF)가 전체 정의 평가에서 소수자 집단을 忽시함으로써 '정의의 지리학적 조작'을 초래할 수 있음을 확인했고, 제안된 DF 프레임워크는 포함적인 정의 평가를 보장함으로써 이를 피한다.