[논문 리뷰] Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms

Qing Ye, Weijun Xie|arXiv (Cornell University)|2020. 12. 22.

Ethics and Social Impacts of AI참고 문헌 44인용 수 5

한 줄 요약

이 논문은 정확도와 공정성을 동시에 최적화하기 위해 정확한 공정성 측정을 포함하는 비편향 서브데이터 선택을 통합한 통합 프레임워크를 제안한다. 이는 분류와 서브데이터 선택을 번갈아가며 수행하는 확장 가능한 반복 보정 전략(IRS)을 도입하여 정확도 손실를 최소화하면서도 뛰어난 공정성을 달성하며, 불균형한 의료 영상 데이터를 포함한 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

As an important problem in modern data analytics, classification has witnessed varieties of applications from different domains. Different from conventional classification approaches, fair classification concerns the issues of unintentional biases against the sensitive features (e.g., gender, race). Due to high nonconvexity of fairness measures, existing methods are often unable to model exact fairness, which can cause inferior fair classification outcomes. This paper fills the gap by developing a novel unified framework to jointly optimize accuracy and fairness. The proposed framework is versatile and can incorporate different fairness measures studied in literature precisely as well as can be applicable to many classifiers including deep classification models. Specifically, in this paper, we first prove Fisher consistency of the proposed framework. We then show that many classification models within this framework can be recast as mixed-integer convex programs, which can be solved effectively by off-the-shelf solvers when the instance sizes are moderate and can be used as benchmarks to compare the efficiency of approximation algorithms. We prove that in the proposed framework, when the classification outcomes are known, the resulting problem, termed "unbiased subdata selection," is strongly polynomial-solvable and can be used to enhance the classification fairness by selecting more representative data points. This motivates us to develop an iterative refining strategy (IRS) to solve the large-scale instances, where we improve the classification accuracy and conduct the unbiased subdata selection in an alternating fashion. We study the convergence property of IRS and derive its approximation bound. More broadly, this framework can be leveraged to improve classification models with unbalanced data by taking F1 score into consideration.

연구 동기 및 목표

• 비볼록 공정성 측정이 흔히 최적의 결과를 이끌지 못하는 분류에서 정확한 공정성 모델링의 과제를 해결하기 위해.
• OMR, 디모그라픽 패리티, 거짓 양성 비율, 동등 기회와 같은 다양한 공정성 측정을 분류 모델에 정확히 통합하는 통합 프레임워크를 개발하기 위해.
• 기존의 딥러닝 분류기, 특히 CNN을 포함한 전통적 및 딥러닝 분류기에서 정확한 공정성 표현을 가능하게 하되, 계산의 타당성을 유지하기 위해.
• 소수자료의 불균형 데이터 시나리오에서 F₁ 스코어를 최적화 프레임워크에 통합함으로써 공정성을 향상시키기 위해.
• 대규모 인스턴스에 대해 수렴성과 근사 보장을 보장하는 확장 가능한 반복 보정 전략(IRS)을 설계하기 위해.

제안 방법

• 중간 크기의 인스턴스에 대해 공정 분류를 혼합정수선형계획형태로 공식화하여, 표준 소프트웨어 솔버를 통해 정확한 최적화를 가능하게 한다.
• 제안된 프레임워크의 파이셔 일致성(consistent)을 증명하여 공정성과 정확도 목표의 渐近적 정확성을 보장한다.
• 분류 결과가 고정되어 있을 때 비편향 서브데이터 선택 문제를 강한 다항식 시간 내에 해결 가능하다는 것을 입증하여 효율적인 데이터 서브셋 정제를 가능하게 한다.
• 반복 보정 전략(IRS)은 분류 정확도 향상과 더 나은 표현력과 비편향성을 가진 서브데이터 선택을 번갈아 수행함으로써 공정성을 향상시킨다.
• IRS는 교차 최소화 기반이며, 대규모 문제에 대해 유도된 근사 경계를 보유한 채 수렴성을 증명하였다.
• 불균형 데이터를 다루기 위해 F₁ 스코어를 공정성 인식 목표로 통합함으로써, 소수자료 클래스에서의 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 정확한 공정성 측정을 분류에서 정확히 모델링할 수 있는 통합 프레임워크를 개발할 수 있는가? 기존 방법에서 흔히 발생하는 근사 오차를 피할 수 있는가?
• RQ2 비편향 서브데이터 선택은 어떻게 공식화하고 효율적으로 해결할 수 있는가? 정확도를 희생시키지 않고 공정성을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크의 계산적 확장성은 대규모 데이터셋에서 어떻게 되며, 수렴성이 보장될 수 있는가?
• RQ4 실제 및 불균형 데이터셋에서 기준 방법과 비교했을 때 반복 보정 전략(IRS)이 공정성과 정확도를 얼마나 향상시키는가?
• RQ5 F₁ 스코어를 공정성 인식 목표로 통합함으로써, 불균형 데이터 시나리오에서 공정성을 향상시킬 수 있는가?

주요 결과

• 3×3 커널을 사용한 레이스 데이터셋에서 제안된 CNN- $F_{1}$ 모델은 F₁ 스코어를 0.29에서 0.41로 향상시켜 7.2% 향상되었고, 정확도는 72.1%에서 79.3%로 상승했다.
• X-ray 아테렉타시스 데이터셋에서 5×5 커널을 사용한 결과 F₁ 스코어는 0.04에서 0.27로 상승했고 정확도는 0.3% 향상되었으며, 희귀 클래스에서의 효과를 입증했다.
• 성별 데이터셋에서는 5×5 커널 설정에서 F₁ 스코어가 0.31에서 0.47로 향상되었고, 정확도는 79.1%에서 84.7%로 상승했다.
• CNN- $F_{1}$의 최고 F₁ 스코어와 정확도는 아테렉타시스에서 3×3 커널을 제외한 모든 시나리오에서 VCNN을 능가하여 광범위한 우수성을 보였다.
• IRS의 영향으로 CNN- $F_{1}$의 학습 시간은 VCNN보다 길었지만, 모든 데이터셋에서 공정성 및 정확도 향상이 뚜렷하고 일관되게 나타났다.
• 모든 평가된 데이터셋에서 기존 방법보다 더 나은 공정성 결과를 달성하였으며, 소수자료의 F₁ 스코어 향상 폭이 두드러졌다.