[논문 리뷰] Bounding and Approximating Intersectional Fairness through Marginal Fairness

Mathieu Molina, Patrick Loiseau|arXiv (Cornell University)|2022. 06. 12.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 마진널 편향 측도와 통계적 종속도 측도를 사용하여 기계학습에서 교차적 편향을 경계하고 근사화하는 통계적 프레임워크를 제안한다. 보호 특성들을 난수 변수로 모델링함으로써, 마진널 분포와 종속도 측도를 사용하여 교차적 편향에 대한 고확률 경계를 유도하고, 통계적 독립성에 기반한 특성 그룹화를 통해 경계를 향상시키는 히ュ리스틱을 도입한다. 이는 실제 및 시뮬레이션 데이터셋에서 검증되었다.

ABSTRACT

Discrimination in machine learning often arises along multiple dimensions (a.k.a. protected attributes); it is then desirable to ensure \emph{intersectional fairness} -- i.e., that no subgroup is discriminated against. It is known that ensuring \emph{marginal fairness} for every dimension independently is not sufficient in general. Due to the exponential number of subgroups, however, directly measuring intersectional fairness from data is impossible. In this paper, our primary goal is to understand in detail the relationship between marginal and intersectional fairness through statistical analysis. We first identify a set of sufficient conditions under which an exact relationship can be obtained. Then, we prove bounds (easily computable through marginal fairness and other meaningful statistical quantities) in high-probability on intersectional fairness in the general case. Beyond their descriptive value, we show that these theoretical bounds can be leveraged to derive a heuristic improving the approximation and bounds of intersectional fairness by choosing, in a relevant manner, protected attributes for which we describe intersectional subgroups. Finally, we test the performance of our approximations and bounds on real and synthetic data-sets.

연구 동기 및 목표

• 다중 보호 특성이 존재하는 상황에서 마진널 편향과 교차적 편향 간의 관계를 이해하기 위해.
• 마진널 편향과 통계적 종속도 측도만을 사용하여 계산 가능한 고확률 경계를 교차적 편향에 대해 도출하기 위해.
• 편향 경계의 날카움을 향상시키기 위해 보호 특성을 통계적 독립성에 기반해 그룹화하는 히ュ리스틱을 개발하기 위해.
• 이론적 경계와 히ュ리스틱을 실제 및 시뮬레이션 데이터셋에서 검증하여, 데이터가 부족한 환경에서의 실용적 유용성을 입증하기 위해.
• 표준 편향 개념(예: 민족적 평등성과 동등 기회)에 적용 가능한 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 보호 특성을 이산 난수 변수로 모델링하고, 총 상관도를 사용하여 그들 사이의 통계적 종속도를 정량화한다.
• 보호 특성의 총 상관도와 마진널 편향 측도를 사용하여 교차적 편향에 대한 확률적 경계를 유도한다.
• 통계적 종속도가 높은 특성을 그룹화하여 분산을 줄이고 경계를 좁히는 파artitioning 히ュ리스틱을 도입한다.
• 로그우도 비율의 분산과 종속도 구조를 활용하여 경계 향상 문제를 함수로 공식화하고, 더 흐린 파artition을 사용하여 총 상관도를 감소시킨다.
• 실제로 마진널 분포와 종속도 측도를 경험적으로 추정하여 경계와 근사치를 계산한다.
• 실제(1990년 미국 인구 조사) 및 시뮬레이션 데이터셋에서 실험을 통해 방법을 검증하고, 경계의 날카움과 수렴 속도를 비교한다.

실험 결과

연구 질문

• RQ1 교차적 편향이 마진널 편향 측도로부터 정확히 복원될 수 있는 조건는 무엇인가?
• RQ2 마진널 편향과 통계적 종속도 정보만을 사용하여 교차적 편향을 어떻게 경계할 수 있는가?
• RQ3 통계적 독립성에 기반해 보호 특성을 그룹화하면 편향 경계의 날카움이 향상되는가?
• RQ4 고차원적이고 희박한 데이터 환경에서 제안된 경계가 교차적 편향의 경험적 추정치와 어떻게 비교되는가?
• RQ5 데이터의 희박성이 마진널 편향이 교차적 편향의 대체 측도로서 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 논문은 교차적 편향이 마진널 편향으로부터 정확히 유도될 수 있는 충분한 조건를 규명하여, 마진널 편향이 대체 측도로서의 한계를 명확히 했다.
• 마진널 편향과 총 상관도를 사용하여 교차적 편향에 대한 고확률 경계를 도출하였으며, 이는 데이터로부터 쉽게 추정할 수 있다.
• 통계적 독립성에 기반한 보호 특성 그룹화 히ュ리스틱은 다양한 데이터셋에서 일관되게 경계의 날카움을 향상시켰다.
• 경험적 결과는 개선된 경계가 기준 경계보다 날카롭고, 특히 희박한 데이터 환경에서 진짜 교차적 편향에 더 가까워졌음을 보여주었다.
• 하나의 하위군당 데이터가 제한된 상황에서도 이 방법은 직접 추정보다 우수했으며, 하위군 크기가 경험적 측정에 충분히 크지 않은 경우에도 효과를 유지했다.
• 지수적 하위군 증가로 인해 정확한 교차적 편향 추정이 불가능한 상황에서도 경계가 실용적으로 유용함을 입증했다.