[논문 리뷰] Fairness with Overlapping Groups

Forest Yang, Moustapha Cissé외 1명|arXiv (Cornell University)|2020. 06. 24.

Ethics and Social Impacts of AI참고 문헌 25인용 수 12

한 줄 요약

이 논문은 교차되는 민감 그룹이 있는 다중 클래스 분류에서 공정성을 통합적으로 다룰 수 있는 확률적 프레임워크를 제안한다. 베이즈 최적 분류와 일致한 경험적 리스크 최소화를 사용하며, 이는 이론적 일致성과 기존 방법들에 비해 뛰어난 공정성-성능 트레이드오프를 실세계 데이터셋에서 입증한다.

ABSTRACT

In algorithmically fair prediction problems, a standard goal is to ensure the equality of fairness metrics across multiple overlapping groups simultaneously. We reconsider this standard fair classification problem using a probabilistic population analysis, which, in turn, reveals the Bayes-optimal classifier. Our approach unifies a variety of existing group-fair classification methods and enables extensions to a wide range of non-decomposable multiclass performance metrics and fairness measures. The Bayes-optimal classifier further inspires consistent procedures for algorithmically fair classification with overlapping groups. On a variety of real datasets, the proposed approach outperforms baselines in terms of its fairness-performance tradeoff.

연구 동기 및 목표

• 기존의 군집 기반 공정 분류 방법들을 통합적인 확률적 인구 분석 프레임워크 아래에 통합하기 위해.
• 기존의 교차 공정성 접근법이 데이터 부족과 계산적 난이도로 어려움을 겪는 다중 민감 그룹(예: 인종과 성별이 동시에 존재하는 경우)의 공정성 문제를 해결하기 위해.
• 비분해 가능한 성능 및 공정성 지표에 대해 일반화 가능한 통계적 일치 알고리즘을 개발하기 위해.
• 독립된 군집 공정성(교차 그룹 포함)과 교차 군집 공정성 간의 관계를 명확히 하여, 후자가 전자를 함의하지는 않음을 보여주기 위해.
• 실세계 데이터셋에서 제안된 방법을 경험적으로 검증하여, 개선된 공정성-성능 트레이드오프를 입증하기 위해.

제안 방법

• 논문은 성능 및 공정성 지표가 혼동 행렬의 일반 선형 함수인 다중 클래스 문제에 대해 베이즈 최적 분류기를 유도한다.
• 이중 변수를 사용하여 교차 그룹 간의 공정성 제약을 강제하는 제약 최적화 문제를 설정하며, 안장점 형태의 공식화를 활용한다.
• 가중 경험적 리스크 최소화(wERM)와 플러그인 추정기를 사용하며, 미약한 조건 하에서 통계적 일치성이 입증된다.
• 공정성 제약을 다루기 위해 이중 기반 접근법을 도입하여 대규모 표본에서 최적 해로 수렴함을 가능하게 한다.
• 이 프레임워크는 임의의 교차 그룹 정의를 지원하며, F1 및 AUC와 같은 비분해 가능한 지표로 일반화된다.
• VC 차원과 라데마처 복잡도를 사용하여 경험적 추정치가 인구 값으로 수렴하는 수렴 경계를 통해 이론적 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 교차 그룹의 공정성을 통합적으로 다룰 수 있는 확률적 프레임워크를 개발할 수 있는가? 이는 기존 방법들을 포함한다.
• RQ2 이론적 보장 측면에서 독립된 군집 공정성(교차 그룹 포함)과 교차 군집 공정성 간의 관계는 어떠한가?
• RQ3 일반적인 성능 및 공정성 지표 하에서 교차 그룹이 있는 공정 분류를 위한 통계적으로 신뢰할 수 있는 일致 알고리즘을 설계할 수 있는가?
• RQ4 실세계 데이터셋에서 제안된 방법의 경험적 공정성-성능 트레이드오프는 기존 기준 대비 어떻게 다를까?
• RQ5 제안된 방법은 각 속성별로는 공정성을 달성하지만 교차 영역에서는 그렇지 않은 공정성 지뢰화(fairness gerrymandering)를 피할 수 있는가?

주요 결과

• 제안된 방법은 Communities and Crime, Adult Census, German Credit, Law School 등 다양한 실세계 데이터셋에서 기존 기준 대비 더 나은 공정성-성능 트레이드오프를 달성한다.
• 이론적 분석을 통해 가중 wERM과 플러그인 추정기가 일치함을 입증하였으며, 대규모 표본 조건 하에서 경험적 추정치가 인구 최적 해로 수렴함을 보였다.
• 논문은 약한 조건 하에서 교차 공정성이 독립된 군집 공정성을 함의하지만, 그 반대는 성립하지 않음을 엄밀히 증명하여 공정성 지뢰화의 위험을 확인한다.
• 경험적 결과는 이 방법이 독립 및 지뢰화 공정성 설정 양쪽 모두에서 이전 접근법을 능가하며, 최적의 왼쪽 아래 모서리에 더 가까운 파레토 경계를 제공함을 보여준다.
• 이 프레임워크는 비분해 가능한 지표와 일반적인 공정성 제약을 성공적으로 처리하여 다양한 알고리즘 기반 공정성 응용에 대한 유연성을 제공한다.
• 이 방법은 교차 하위군에서의 데이터 부족 문제에 강건하며, 교차 공정성에서 흔히 발생하는 지수적 하위군 수열 문제를 피한다.