[논문 리뷰] Characterizing Intersectional Group Fairness with Worst-Case Comparisons

Avijit Ghosh, Lea Genuit외 1명|arXiv (Cornell University)|2021. 01. 05.

Ethics and Social Impacts of AI참고 문헌 30인용 수 9

한 줄 요약

이 논문은 보호되는 속성(예: 인종과 성별)을 조합하여 형성된 하위군을 분석함으로써 기계학습의 공정성 지표에 숨겨진 교차적 편향을 탐지하기 위해 최악의 경우 비교 방법을 제안한다. 기존의 이진 공정성 지표(예: 거짓 음성 비율 균형)를 교차 하위군으로 확장하여 극심한 격차를 드러내며, 예를 들어 흑인 남성의 FNR이 0.065인 반면 아시아 여성은 0.0024로 27배의 격차가 발생함을 입증한다. 이는 기존의 공정성 지표가 소수자 하위군에서 극심한 불공정성을 가림으로써 가려낼 수 있음을 보여준다.

ABSTRACT

Machine Learning or Artificial Intelligence algorithms have gained considerable scrutiny in recent times owing to their propensity towards imitating and amplifying existing prejudices in society. This has led to a niche but growing body of work that identifies and attempts to fix these biases. A first step towards making these algorithms more fair is designing metrics that measure unfairness. Most existing work in this field deals with either a binary view of fairness (protected vs. unprotected groups) or politically defined categories (race or gender). Such categorization misses the important nuance of intersectionality - biases can often be amplified in subgroups that combine membership from different categories, especially if such a subgroup is particularly underrepresented in historical platforms of opportunity. In this paper, we discuss why fairness metrics need to be looked at under the lens of intersectionality, identify existing work in intersectional fairness, suggest a simple worst case comparison method to expand the definitions of existing group fairness metrics to incorporate intersectionality, and finally conclude with the social, legal and political framework to handle intersectional fairness in the modern context.

연구 동기 및 목표

• 기존의 공정성 지표가 소수자 교차 하위군에서의 편향을 탐지하지 못하는 한계를 해결하기 위해.
• 기존의 이진 공정성 지표(예: 인종 또는 성별 단독 기준)가 교차 하위군을 고려할 경우 극심한 불공정성이 가려질 수 있음을 부각하기 위해.
• 모든 보호 속성 조합에 대해 최악의 격차 비율을 사용하여 보호 속성의 조합을 기반으로 한 공정성 평가를 위한 실용적이고 조합론적인 방법을 제안하기 위해.
• 이 방법이 분류 및 랭킹 기반 공정성 지표를 포함한 다양한 지표에 적용 가능함을 보여주기 위해.
• AI 거버넌스의 법적, 사회적, 윤리적 프레임워크에 교차적 공정성을 통합할 것을 주장하기 위해.

제안 방법

• 보호 속성의 가능한 모든 조합(예: 인종과 성별)으로 하위군을 정의하여 교차 그룹의 조합 집합을 형성한다.
• 기존의 그룹 공정성 지표(예: 거짓 음성 비율 균형, 주의력 균형)를 각 교차 하위군에 적용한다.
• 최악의 격차 비율을 계산하여, 하위군 평균 지표 값의 최소값을 최대값으로 나누어 가장 불리한 그룹을 식별한다.
• 이 최악의 비율(AR)을 공정성 지표로 사용하며, 1.0에 가까울수록 교차 공정성이 높음을 의미한다.
• 실제 모델에 대해 LSAC 데이터셋을 사용하여 분류 및 랭킹 기반 공정성 지표를 평가함으로써 방법을 적용한다.
• 랭킹 시스템의 주의 기반 지표에 프레임워크를 적응시키기 위해 위치에 따라 달라지는 주의력을 모델링하고, 하위군별 평균 주의력을 계산한다.

실험 결과

연구 질문

• RQ1 기존의 표준 이진 공정성 지표는 소수자 교차 하위군에서의 편향을 어떻게 탐지하지 못하는가?
• RQ2 보호 속성의 조합(예: 인종과 성별)이 공정성 지표의 격차에 어떤 영향을 미치는가?
• RQ3 최악의 경우 비교 방법이 집계 또는 이진 공정성 평가에서 가려진 편향을 효과적으로 드러낼 수 있는가?
• RQ4 랭킹 시스템에서 주의 기반 지표를 사용하여 교차 공정성을 어떻게 측정하고 모니터링할 수 있는가?
• RQ5 교차 공정성의 실용적 함의는 AI의 법적, 윤리적, 정책적 프레임워크에 어떤 영향을 미치는가?

주요 결과

• 최악의 격차 비율은 LSAC 사례 연구에서 교차 하위군 간 거짓 음성 비율의 비율이 0.036로, 이상적인 1.0에서 매우 멀어 심각한 교차 불공정성을 시사한다.
• 흑인 남성의 거짓 음성 비율은 약 0.065였고, 아시아 여성은 0.0024였으며, 이는 27배의 격차로 이진 지표에서는 드러나지 않았다.
• 성별 단독 기준으로 평가하면 여성은 유리하게 보였지만(거짓 음성 비율 ≈ 0.006), 인종을 포함하면 흑인 여성의 거짓 음성 비율이 0.039로 반전되었다.
• 이 방법은 '공정성 지도조작'(fairness gerrymandering)을 효과적으로 드러내었으며, 이는 이진 수준에선 공정성이 수용 가능해 보이지만 교차 수준에선 심각하게 손상된 상황을 의미한다.
• 주의 기반 지표는 하위군 노출 격차도 최악의 비율을 통해 정량화할 수 있음을 보여주어, 이 방법이 분류를 넘어 랭킹 영역까지 확장 가능함을 입증했다.
• 이 방법은 주요 아키텍처 변경 없이 기존의 공정성 모니터링 파이프라인에 쉽게 통합될 수 있다.