[논문 리뷰] Towards A Holistic View of Bias in Machine Learning: Bridging Algorithmic Fairness and Imbalanced Learning

Damien Dablain, Bartosz Krawczyk외 1명|arXiv (Cornell University)|2022. 07. 13.

Artificial Intelligence in Law인용 수 9

한 줄 요약

이 논문은 공정성을 유지하면서 클래스 불균형과 보호군집 불균형을 동시에 해결하는 새로운 전처리 방법 Fair Oversampling을 제안한다. 합성 샘플을 생성함으로써 성능을 향상시키며, 새로운 평가 지표 Fair Utility를 통해 정확도와 공정성 모두를 개선함을 검증한다. 이는 공정성 인식 알고리즘과 조합되었을 때도 뛰어난 내성적 안정성을 보인다.

ABSTRACT

Machine learning (ML) is playing an increasingly important role in rendering decisions that affect a broad range of groups in society. ML models inform decisions in criminal justice, the extension of credit in banking, and the hiring practices of corporations. This posits the requirement of model fairness, which holds that automated decisions should be equitable with respect to protected features (e.g., gender, race, or age) that are often under-represented in the data. We postulate that this problem of under-representation has a corollary to the problem of imbalanced data learning. This class imbalance is often reflected in both classes and protected features. For example, one class (those receiving credit) may be over-represented with respect to another class (those not receiving credit) and a particular group (females) may be under-represented with respect to another group (males). A key element in achieving algorithmic fairness with respect to protected groups is the simultaneous reduction of class and protected group imbalance in the underlying training data, which facilitates increases in both model accuracy and fairness. We discuss the importance of bridging imbalanced learning and group fairness by showing how key concepts in these fields overlap and complement each other; and propose a novel oversampling algorithm, Fair Oversampling, that addresses both skewed class distributions and protected features. Our method: (i) can be used as an efficient pre-processing algorithm for standard ML algorithms to jointly address imbalance and group equity; and (ii) can be combined with fairness-aware learning algorithms to improve their robustness to varying levels of class imbalance. Additionally, we take a step toward bridging the gap between fairness and imbalanced learning with a new metric, Fair Utility, that combines balanced accuracy with fairness.

연구 동기 및 목표

• 기계학습 데이터셋에서 발생하는 클래스 불균형과 보호군집의 부재 문제를 동시에 해결한다.
• 데이터 불균형이 학습 알고리즘의 공정성과 불균형 학습의 공통된 근본 원인임을 규명함으로써 두 분야를 연결한다.
• 정확도와 공정성을 동시에 향상시키기 위해 클래스 불균형과 보호군집 불균형을 동시에 줄이는 전처리 방법을 개발한다.
• 균형 잡힌 정확도와 군집 공정성 측정치를 통합한 Fair Utility라는 새로운 평가 지표를 제안한다.
• 제안된 오버샘플링 기법을 통합함으로써 공정성 인식 학습 알고리즘의 내성적 안정성을 향상시킨다.

제안 방법

• 클래스 및 보호군집 분포를 균형 잡기 위해 합성 샘플을 생성하는 새로운 오버샘플링 알고리즘 Fair Oversampling을 설계한다.
• 합성 샘플 생성 과정에서 보호 속성(예: 성별, 인종)을 고려하여 공정성 제약 조건을 통합한다.
• 소수자원 인스턴스 근처에 거리 기반 접근 방식을 사용해 새로운 샘플을 생성함으로써 다양성과 대표성을 확보한다.
• 표준 기계학습 알고리즘과 함께 전처리 단계로 Fair Oversampling을 통합하여 정확도와 공정성을 향상시킨다.
• Fair Oversampling을 공정성 인식 학습 알고리즘과 통합하여 다양한 수준의 클래스 불균형 하에서의 내성적 안정성을 향상시킨다.
• 균형 잡힌 정확도와 군집 공정성(예: 동일 기회 차이)을 통합한 복합 지표 Fair Utility를 도입하여 종합적인 모델 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 클래스 불균형과 보호군집 불균형을 단일 전처리 프레임워크에서 동시에 해결할 수 있는가?
• RQ2 데이터 불균형을 줄임으로써 분류 과제에서 정확도와 공정성이 얼마나 향상되는가?
• RQ3 단일 오버샘플링 방법으로 성능 저하 없이 공정성을 효과적으로 향상시킬 수 있는가?
• RQ4 Fair Oversampling은 다양한 수준의 클래스 불균형 하에서 공정성 인식 학습 알고리즘의 내성적 안정성을 어떻게 향상시키는가?
• RQ5 Fair Utility와 같은 통합 지표는 불균형적이고 편향된 데이터셋에서 정확도와 공정성의 상호보완적 관계를 효과적으로 반영할 수 있는가?

주요 결과

• Fair Oversampling는 여러 벤치마크 데이터셋에서 균형 잡힌 정확도와 공정성 지표를 모두 크게 향상시킨다.
• 제안된 Fair Utility 지표는 정확도와 공정성의 상호보완적 관계를 효과적으로 반영하여 보다 종합적인 모델 평가를 가능하게 한다.
• Fair Oversampling를 공정성 인식 학습 알고리즘과 조합함으로써, 특히 자원이 부족한 보호군집에서의 클래스 불균형에 대한 내성적 안정성이 향상된다.
• 기존의 전처리 및 내재적 공정성 기법들과 비교했을 때, Fair Oversampling는 공정성과 정확도 측면에서 최고 성능을 기록한다.
• GitHub에 공개된 오픈소스 구현체는 재현 가능성을 보장하고 향후 공정성 및 불균형 학습 분야의 연구를 촉진한다.
• 실험 결과는 전처리 단계에서 데이터 불균형을 줄임으로써 공정성 향상과 모델 일반화 능력 향상이 실제로 측정 가능한 수준으로 향상됨을 보여준다.