[논문 리뷰] A Comprehensive Empirical Study of Bias Mitigation Methods for Machine Learning Classifiers

Zhenpeng Chen, Jie M. Zhang외 2명|arXiv (Cornell University)|2022. 07. 07.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 11개의 기계학습 성능 지표, 4개의 공정성 지표, 20개의 공정성-성능 트레이드오프 측정 방식을 사용하여 8개의 벤치마크 작업에서 기계학습 분류기의 17개의 편향 완화 방법에 대한 대규모 실증 평가를 수행한다. 연구 결과, 편향 완화 방법은 종종 모델 성능을 떨어뜨리며(42–66%의 시나리오), 공정성을 향상시키는 데 성공하는 경우는 24–59%에 그치며, 공정성과 성능 모두에 악영향을 미치는 경우도 25%에 달한다. 또한 특정 맥락에서 모든 다른 방법보다 뛰어난 성능을 내는 단일 방법은 존재하지 않는다.

ABSTRACT

Software bias is an increasingly important operational concern for software engineers. We present a large-scale, comprehensive empirical study of 17 representative bias mitigation methods for Machine Learning (ML) classifiers, evaluated with 11 ML performance metrics (e.g., accuracy), 4 fairness metrics, and 20 types of fairness-performance trade-off assessment, applied to 8 widely-adopted software decision tasks. The empirical coverage is much more comprehensive, covering the largest numbers of bias mitigation methods, evaluation metrics, and fairness-performance trade-off measures compared to previous work on this important software property. We find that (1) the bias mitigation methods significantly decrease ML performance in 53% of the studied scenarios (ranging between 42%~66% according to different ML performance metrics); (2) the bias mitigation methods significantly improve fairness measured by the 4 used metrics in 46% of all the scenarios (ranging between 24%~59% according to different fairness metrics); (3) the bias mitigation methods even lead to decrease in both fairness and ML performance in 25% of the scenarios; (4) the effectiveness of the bias mitigation methods depends on tasks, models, the choice of protected attributes, and the set of metrics used to assess fairness and ML performance; (5) there is no bias mitigation method that can achieve the best trade-off in all the scenarios. The best method that we find outperforms other methods in 30% of the scenarios. Researchers and practitioners need to choose the bias mitigation method best suited to their intended application scenario(s).

연구 동기 및 목표

• 기계학습 분류기에서 편향 완화 방법에 대한 대규모이고 종합적인 실증 평가를 제공하기 위해.
• 다양한 시나리오에서 편향 완화가 공정성과 기계학습 성능에 미치는 영향을 평가하기 위해.
• 특정 방법이 성공하거나 실패하는 조건을 작업, 모델, 보호당하는 특성, 평가 지표를 고려하여 규명하기 위해.
• 기존 방법의 한계를 드러내고 특정 응용 맥락에 최적의 편향 완화 전략을 선택하는 데 도움이 되도록 하기 위해.

제안 방법

• 모델링된 편향 완화 방법 17종(예: 적대적 편향 제거, 재가중, 기각 옵션 분류, 공정한 표현 학습 등)을 평가하였다.
• 소득 예측, 형사 사법, 신용 리스크 평가 등의 널리 사용되는 소프트웨어 의사결정 작업 8개에 모든 방법을 적용하였다.
• 정확도, 정밀도, 재현율, F1-스코어 등의 11개의 기계학습 지표와 인구통계적 평등, 동일한 기회 등의 4개의 공정성 지표를 사용하여 성능을 측정하였다.
• 세부적인 트레이드오프 다이내믹스를 포착하기 위해 20개의 별도 측정 전략을 사용하여 공정성-성능 트레이드오프를 평가하였다.
• 표준화된 벤치마크 데이터셋과 통제된 실험 설정을 사용하여 재현 가능성과 비교 가능성 확보를 위해 노력하였다.
• 관측된 성능 및 공정성 결과의 차이를 검증하기 위해 통계적 유의성 검정을 실시하였다.

실험 결과

연구 질문

• RQ1 편향 완화 방법은 다양한 지표와 작업에서 기계학습 성능에 어떻게 영향을 미치는가?
• RQ2 편향 완화 방법은 어느 정도 공정성을 향상시키며, 이는 공정성 지표와 시나리오에 따라 어떻게 달라지는가?
• RQ3 편향 완화 방법이 공정성과 성능을 동시에 악화시키는 경우는 얼마나 되는가?
• RQ4 모델 유형, 보호당하는 특성, 또는 작업과 같은 요소들은 편향 완화 방법의 효과성에 어떤 영향을 미치는가?
• RQ5 모든 시나리오에서 공정성-성능 트레이드오프를 최상으로 달성하는 단일 편향 완화 방법이 존재하는가?

주요 결과

• 편향 완화 방법은 사용된 성능 지표에 따라 42%에서 66%의 시나리오에서 기계학습 성능을 크게 감소시켰다.
• 공정성 향상은 공정성 지표에 따라 24%에서 59%의 시나리오에서 관찰되었으며, 이는 공정성 정의에 따라 효과가 일관되지 않음을 시사한다.
• 25%의 시나리오에서 편향 완화 방법이 공정성과 기계학습 성능 모두를 악화시켰으며, 이는 잠재적 위험을 시사한다.
• 편향 완화 방법의 효과성은 작업, 기계학습 모델, 보호당하는 특성, 평가 지표의 선택에 매우 의존한다.
• 모든 시나리오에서 다른 모든 방법보다 뛰어난 성능을 내는 단일 편향 완화 방법은 존재하지 않으며, 최고의 성능을 내는 방법도 오직 30%의 경우에서만 다른 방법보다 뛰어났다.
• 결과적으로 보편적인 '황금 표준' 방법이 존재하지 않으며, 맥락에 따라 적절한 완화 전략을 선택할 필요가 있음을 강조한다.