[논문 리뷰] Addressing Fairness, Bias and Class Imbalance in Machine Learning: the FBI-loss

Elisa Ferrari, Davide Bacciu|arXiv (Cornell University)|2021. 05. 13.

Imbalanced Data Classification Techniques인용 수 5

한 줄 요약

이 논문은 공정성, 혼란 변수 편향, 클래스 불균형을 모두 근본적인 불균형의 표현으로 간주함으로써 통합된 비용 보정 손실 함수인 FBI-loss를 제안한다. 이는 특수한 아키텍처나 복잡한 학습 절차 없이도 세 가지 문제 모두에서 경쟁력 있는 성능을 달성하기 위해 작업 복잡도에 따라 조정되는 단일의 하이퍼파라미터에 의존한다.

ABSTRACT

Resilience to class imbalance and confounding biases, together with the assurance of fairness guarantees are highly desirable properties of autonomous decision-making systems with real-life impact. Many different targeted solutions have been proposed to address separately these three problems, however a unifying perspective seems to be missing. With this work, we provide a general formalization, showing that they are different expressions of unbalance. Following this intuition, we formulate a unified loss correction to address issues related to Fairness, Biases and Imbalances (FBI-loss). The correction capabilities of the proposed approach are assessed on three real-world benchmarks, each associated to one of the issues under consideration, and on a family of synthetic data in order to better investigate the effectiveness of our loss on tasks with different complexities. The empirical results highlight that the flexible formulation of the FBI-loss leads also to competitive performances with respect to literature solutions specialised for the single problems.

연구 동기 및 목표

• 머신러닝에서 클래스 불균형, 혼란 변수 편향, 불공정성을 모두 다른 형태의 불균형으로 통합적으로 다루는 것.
• 세 가지 문제를 동시에 수정할 수 있는 단일의 일반 목적 손실 함수를 개발하는 것.
• 기존의 전문화된 방법들에 비해 계산 효율성과 하이퍼파라미터 조정의 용이성을 확보하는 것.
• 실세계 벤치마크와 시뮬레이션 데이터에 대해 FBI-loss를 평가하여 안정성과 경쟁력을 입증하는 것.
• 일반 목적의 손실 함수가 명시적인 공정성 제약 없이도 간접적으로 공정성을 향상시킬 수 있는지 조사하는 것.

제안 방법

• 학습 분포 내에서 클래스 불균형, 혼란 변수 편향, 불공정성을 모두 불균형의 다양한 표현으로 수학적으로 정의한다.
• 포칼 손실 원리를 응용하여 쉽게 과대표된 예측을 가중치를 낮추고, 어려운, 과소대표된 예측을 가중치를 높이는 비용 보정 손실을 구성한다.
• 작업 복잡도에 따라 손실을 스케일링하는 단일 하이퍼파라미터를 도입하여 조정이 용이하게 한다.
• 모델에 종속되지 않는 설계를 하여 어떤 분류기나 데이터 모odal리티에도 적용 가능하도록 한다.
• 복잡한 구성 요소(예: 적대적 네트워크 또는 변분 오토인코더)를 피하기 위해 표준 신경망 레이어와 학습 절차를 사용해 FBI-loss를 구현한다.
• 이중 분류 작업에 FBI-loss를 적용하고, 실세계 데이터셋과 통제된 불균형을 가진 시뮬레이션 데이터에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 클래스 불균형, 혼란 변수 편향, 불공정성은 단일 개념적 프레임워크 아래에서 공식적으로 통합될 수 있는가?
• RQ2 단일의 일반 목적 손실 함수가 각 문제에 대해 전문화된 방법보다 우수하거나 동등한 성능을 내는가?
• RQ3 FBI-loss는 계산 효율성과 단순성 유지와 함께 경쟁적인 성능를 달성할 수 있는가?
• RQ4 명시적인 공정성 제약 없이도 FBI-loss가 간접적으로 공정성을 향상시킬 수 있는가?
• RQ5 FBI-loss는 실세계 및 시뮬레이션 벤치마크에서 다양한 수준의 불균형 상황에서 어떻게 성능를 보이는가?

주요 결과

• FBI-loss는 실세계 벤치마크에서 클래스 불균형, 혼란 변수 편향, 불공정 분류의 세 문제 모두에 대해 안정적이고 경쟁력 있는 성능를 보였다.
• 클래스 불균형 벤치마크에서 FBI-loss는 과소대표 및 과대대표 그룹 모두에서 가장 안정적인 성능를 보였으며, 과조정 문제로 어려움을 겪는 다른 보정 방법들을 능가했다.
• 혼란 변수 편향 벤치마크에서 FBI-loss는 IFR-VAE 및 BR-NN와 같은 복잡한 방법들과 동등하거나 그 이상의 성능를 달성했으며, 단일 하이퍼파라미터와 보조 모델 없이도 가능했다.
• 불공정 분류 벤치마크에서 FBI-loss는 PEO-Loss 및 LFO와 유사한 수준의 공정성을 달성했고, 과대대표 그룹에서 더 뛰어난 안정성을 보였다.
• 공정성 전용 방법과 유사한 수준으로 보호 그룹과 비보호 그룹 간의 FPR 및 FNR 차이를 줄였지만, 공정성에 특화되지 않은 설계임에도 불구하고 성과를 냈다.
• 단일 하이퍼파라미터 설계와 보조 학습 구성 요소의 부재로 인해 FBI-loss는 IFR-VAE 및 LFO와 비교해 2배에서 10배 더 계산 효율적이었다.