[논문 리뷰] FIFA: Making Fairness More Generalizable in Classifiers Trained on Imbalanced Data

Zhun Deng, Jiayao Zhang외 5명|arXiv (Cornell University)|2022. 06. 06.

Retirement, Disability, and Employment인용 수 7

한 줄 요약

이 논문은 불균형 데이터셋에서 학습된 분류기의 공정성 일반화를 향상시키기 위해 클래스 및 서브그룹에 따라 다를 수 있는 마진을 도입하는 유연하고 이론적으로 탄탄한 방법 FIFA (Imbalance-Fairness-Aware)를 제안한다. 이는 로짓 기반 손실을 통해 실현되며, 다양한 모델과 데이터셋(예: CelebA에서의 ResNet-18, AdultIncome 및 DutchConsensus에서의 로지스틱 회귀)에서 훈련 및 테스트 세트 간의 공정성 위반 갭을 크게 감소시킨다.

ABSTRACT

Algorithmic fairness plays an important role in machine learning and imposing fairness constraints during learning is a common approach. However, many datasets are imbalanced in certain label classes (e.g. "healthy") and sensitive subgroups (e.g. "older patients"). Empirically, this imbalance leads to a lack of generalizability not only of classification, but also of fairness properties, especially in over-parameterized models. For example, fairness-aware training may ensure equalized odds (EO) on the training data, but EO is far from being satisfied on new users. In this paper, we propose a theoretically-principled, yet Flexible approach that is Imbalance-Fairness-Aware (FIFA). Specifically, FIFA encourages both classification and fairness generalization and can be flexibly combined with many existing fair learning methods with logits-based losses. While our main focus is on EO, FIFA can be directly applied to achieve equalized opportunity (EqOpt); and under certain conditions, it can also be applied to other fairness notions. We demonstrate the power of FIFA by combining it with a popular fair classification algorithm, and the resulting algorithm achieves significantly better fairness generalization on several real-world datasets.

연구 동기 및 목표

• 불균형 데이터에서 과다 매개변수화된 모델의 공정성 일반화에 대한 핵심 격차를 해결하기 위해, 등가된 우도(EO)와 같은 공정성 제약 조건이 훈련에서 테스트로 일반화되지 못하는 문제를 다루는 것.
• 특히 소수자 서브그룹과 드문 레이블 클래스에 대해 분류 성능과 공정성 일반화를 동시에 향상시키는 방법을 개발하는 것.
• 기존의 공정 학습 방법과 함께 사용할 수 있는 유연하고 즉시 적용 가능한 프레임워크를 설계하기 위해 로짓 기반 손실을 사용하는 것.
• 분류 성능을 희생시키지 않은 채 공정성 일반화가 크게 향상될 수 있음을 경험적으로 검증하는 것.
• 마진 기반 분석을 통한 이론적 기반 제공으로, 서브그룹별 정규화가 공정성 일반화 오차를 감소시킨다는 것을 보여주는 것.

제안 방법

• FIFA는 로짓에 클래스 및 서브그룹에 따라 다를 수 있는 마진 페널티를 적용하는 수정된 손실 함수를 도입하여, 표현이 부족한 그룹의 마진을 증가시킨다.
• 이 방법은 각 서브그룹과 레이블 클래스별로 기울기 가능하고 학습 가능한 마진 조정을 사용하며, 이는 파라미터 δ_{y,a}를 통해 정의되며, 소프트맥스 교차 엔트로피 손실 이전에 로짓을 스케일링한다.
• 표준 분류 손실과 공정성 위반 손실(예: 등가된 우도를 위한)을 조합하여 균형 잡힌 목표 함수를 형성한다: L_combined = α·L_bal + β·L_fv.
• 이 방법은 로짓에서 작동하는 모든 공정 학습 방법(예: 소프트 마진 손실)과 호환되며, 기존 프레임워크에 통합 가능하다.
• 테스트 성능을 최적화하기 위해, ε(공정성 위반에 대한 내성 허용 범위)와 δ(마진 조정)와 같은 초매개변수를 그리드 서치를 통해 튜닝한다.
• 이 방법은 딥 네트워크(예: ResNet-18)뿐 아니라 간단한 모델(예: 로지스틱 회귀)에도 적용되어 광범위한 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 모델이 불균형 데이터에서 학습될 때, 공정성 제약 조건이 훈련에서 테스트로 일반화되지 못하는 상황에서 공정성 일반화를 크게 향상시킬 수 있는가?
• RQ2 로짓에 서브그룹별 마진 조정을 적용하면 분류 정확도를 떨어뜨리지 않고도 더 나은 공정성 일반화를 달성할 수 있는가?
• RQ3 다양한 데이터셋과 모델 아키텍처에서 기존의 희생 없는 학습 및 기존의 공정 학습 방법과 비교해 FIFA는 공정성 일반화에서 어떤 성능을 보이는가?
• RQ4 로짓 기반 손실을 사용하는 기존의 공정 학습 프레임워크와 FIFA를 얼마나灵活性 있게 조합할 수 있는가?
• RQ5 실제 불균형 데이터셋에서 공정성 일반화에 대한 이론적 마진 기반 분석이 경험적으로도 타당한가?

주요 결과

• CelebA 데이터셋에서 ResNet-18를 사용한 실험에서, FIFA는 기존 훈련 대비 공정성 일반화 갭(테스트 EO 위반 - 훈련 EO 위반)을 60% 이상 감소시켰다.
• AdultIncome 데이터셋에서 로지스틱 회귀를 사용한 실험에서, FIFA는 ε=0.01일 때 테스트 공정성 위반률 4.35%를 기록했고, 이는 기존 방법의 4.43%보다 우수한 성능을 보였다.
• DutchConsensus 데이터셋에서도, FIFA는 기존 방법의 테스트 공정성 위반률 4.43%를 ε=0.01일 때 4.35%로 감소시켜, 더 작은 데이터셋에서도 효과를 입증했다.
• FIFA 적용 시 공정성과 균형 잡힌 손실의 파레토 경계는 기존 훈련 대비 훨씬 낮고 중심에 더 가까이 위치해 있어, 정확도와 공정성 사이의 더 나은 트레이드오프를 나타낸다.
• AdultIncome 및 DutchConsensus에서 모든 세 가지 ε 값(0.01, 0.05, 0.10)에 대해 FIFA는 기존 훈련을 모두 초월했으며, 항상 더 낮은 테스트 병합 손실을 기록했다.
• 분류 성능 일반화는 유지되었으며, 예를 들어 AdultIncome에서 FIFA의 테스트 오차는 13.5%였고, 기존 방법은 14.3%였으며, 성능 희생 없이도 우수한 성능을 보였다.