[논문 리뷰] Metrics and methods for a systematic comparison of fairness-aware machine learning algorithms

Gareth Jones, James M. Hickey외 4명|arXiv (Cornell University)|2020. 10. 08.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 공정성 인식 기계학습 알고리즘을 체계적으로 비교하기 위한 프레임워크를 소개하며, 공정성-성능 트레이드오프를 통합적으로 측정할 수 있는 새로운 지표인 '공정 효율성(fair efficiency)'을 제안한다. 7개 데이터셋에서 28개의 모델링 파이프라인을 평가하여, 공정성 인식 방법이 성능 손실 없이도 공정성을 달성할 수 있음을 보여주며, 데이터셋 특성에 따라 알고리즘의 효과성이 크게 영향을 받음을 확인한다.

ABSTRACT

Understanding and removing bias from the decisions made by machine learning models is essential to avoid discrimination against unprivileged groups. Despite recent progress in algorithmic fairness, there is still no clear answer as to which bias-mitigation approaches are most effective. Evaluation strategies are typically use-case specific, rely on data with unclear bias, and employ a fixed policy to convert model outputs to decision outcomes. To address these problems, we performed a systematic comparison of a number of popular fairness algorithms applicable to supervised classification. Our study is the most comprehensive of its kind. It utilizes three real and four synthetic datasets, and two different ways of converting model outputs to decisions. It considers fairness, predictive-performance, calibration quality, and speed of 28 different modelling pipelines, corresponding to both fairness-unaware and fairness-aware algorithms. We found that fairness-unaware algorithms typically fail to produce adequately fair models and that the simplest algorithms are not necessarily the fairest ones. We also found that fairness-aware algorithms can induce fairness without material drops in predictive power. Finally, we found that dataset idiosyncracies (e.g., degree of intrinsic unfairness, nature of correlations) do affect the performance of fairness-aware approaches. Our results allow the practitioner to narrow down the approach(es) they would like to adopt without having to know in advance their fairness requirements.

연구 동기 및 목표

• 다양한 사용 사례에서 공정성 인식 기계학습 알고리즘에 대한 표준화되고 체계적인 평가의 부족을 해결하기 위해.
• 지도형 이진 분류에서 공정성과 예측 성능를 균형 잡는 데 가장 효과적인 공정성 간섭 기법을 특정하기 위해.
• 결정 임계값 정책에 영향을 받지 않는 직접 비교가 가능한 새로운 지표인 '공정 효율성'을 개발하고 검증하기 위해.
• 내재된 불공정성 및 특성 상관관계와 같은 데이터 특성의 영향을 공정성 인식 알고리즘 성능에 미치는 영향을 평가하기 위해.
• 기존 기준과 비교하기 위한 기반으로 사용할 수 있는 새로운 공정성 유도 특성 선택 방법인 '공정 특성 선택(Fair Feature Selection)'을 제안하고 벤치마크하기 위해.

제안 방법

• 공정성과 예측 성능의 비율로 정의된 새로운 지표인 '공정 효율성'을 제안하며, 이는 결정 임계값 정책에 따라 정규화되어 임계값 의존성을 제거한다.
• 실제 데이터 3종과 합성 데이터 4종을 포함한 포괄적인 실험 설정을 활용하며, 공정성 무관 기준 모델 7종과 20종의 공정성 인식 모델(8종의 간섭 유형)을 평가한다.
• 모델 출력을 결정으로 전환하기 위해 두 가지 별개의 결정 정책을 적용하여, 공정성 평가에서 정책 민감도를 분석한다.
• 공정 특성 선택을 위해 상호정보량, F-검정 점수, 랜덤 포레스트 기반 중요도를 조합한 가중치 기반 특성 순위를 산정한다.
• 공정성 제약 조건을 훈련 중 방법(예: 적대적 학습, 제약 최적화, 정규화), 후처리 및 전처리 기법을 통해 통합한다.
• 모든 파이프라인 평가를 위해 표준 예측 성능 지표(예: AUC, 정확도)와 공정성 지표(예: 동등 기회, 민족적 평등성)를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 공정성과 예측 성능 사이의 트레이드오프를 가장 잘 균형 잡은 공정성 인식 기계학습 알고리즘은 무엇인가?
• RQ2 다양한 결정 임계값 정책이 공정성 간섭 평가에 미치는 영향은 무엇이며, 통합 지표는 이러한 변동성을 어떻게 완화할 수 있는가?
• RQ3 내재된 불공정성 정도나 특성 상관관계 구조와 같은 데이터셋 고유의 특성이 공정성 간섭의 효과성에 어느 정도 영향을 미치는가?
• RQ4 공정 특성 선택과 같은 단순하고 해석 가능한 방법이 더 복잡한 훈련 기반 공정성 인식 접근 방식과 비슷한 성능을 달성할 수 있는가?
• RQ5 공정성 인식 모델은 공정성 무관 기준 모델에 비해 校정성(calibration)과 예측 능력 측면에서 어떻게 비교되는가?

주요 결과

• 공정성 무관 모델은 알려진 편향이 있는 데이터로 학습하더라도 항상 충분한 공정성을 달성하지 못한다.
• 가장 단순한 공정성 인식 알고리즘이 반드시 가장 공정한 것은 아니며, 성능은 데이터셋 특성과 알고리즘 설계에 따라 크게 달라진다.
• 공정성 인식 알고리즘은 성능 저하 없이도 공정성을 달성할 수 있으며, 공정 효율성이 신뢰할 수 있는 비교 지표로 기능한다.
• 두 가지 라그랑주 감소 기반 방법(LagRed BT 및 LagRed LR)은 대부분의 데이터셋에서 성능이 열등했으며, 특히 타이타닉 데이터셋에서 공정성 요구사항을 충족하지 못했다.
• 공정 특성 선택은 더 복잡한 전처리 및 훈련 기반 방법과 유사한 성능을 달성했고, 일부 경우 공정성-성능 트레이드오프 측면에서 이를 초월하기도 했다.
• 데이터셋 고유의 특성—예를 들어 상관관계의 성격이나 내재된 불공정성 수준—은 공정성 간섭의 효과성에 크게 영향을 미치며, 이는 어떤 한 방법도 항상 우월하지는 않음을 시사한다.