[논문 리뷰] FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods

Xiaotian Han, Jianfeng Chi외 5명|arXiv (Cornell University)|2023. 06. 15.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 기계학습에서 내재된 그룹 형평성 방법을 평가하기 위한 표준화되고 오픈소스인 FFB를 소개한다. 14개의 데이터셋과 45,079개의 실험을 통해 데이터 전처리, 형평성 메트릭, 학습 파이프라인을 통합하여, HSIC 방법이 최고의 유틸리티-형평성 트레이드오프를 달성하고, 적대적 디 biases 방법이 불안정성을 보이는 등의 핵심 통찰을 드러낸다.

ABSTRACT

This paper introduces the Fair Fairness Benchmark ( extsf{FFB}), a benchmarking framework for in-processing group fairness methods. Ensuring fairness in machine learning is important for ethical compliance. However, there exist challenges in comparing and developing fairness methods due to inconsistencies in experimental settings, lack of accessible algorithmic implementations, and limited extensibility of current fairness packages and tools. To address these issues, we introduce an open-source standardized benchmark for evaluating in-processing group fairness methods and provide a comprehensive analysis of state-of-the-art methods to ensure different notions of group fairness. This work offers the following key contributions: the provision of flexible, extensible, minimalistic, and research-oriented open-source code; the establishment of unified fairness method benchmarking pipelines; and extensive benchmarking, which yields key insights from $\mathbf{45,079}$ experiments, $\mathbf{14,428}$ GPU hours. We believe that our work will significantly facilitate the growth and development of the fairness research community.

연구 동기 및 목표

• 다양한 실험 설정, 데이터 전처리, 접근 가능한 구현 부족으로 인한 형평성 벤치마킹의 이질성 문제를 해결하기 위해.
• 내재된 형평성 방법을 평가하기 위한 통합적이고 확장 가능하며 최소한의 오픈소스 프레임워크를 제공하기 위해.
• 다양한 데이터셋과 메트릭을 통해 최신 형평성 알고리즘 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 모델 아키텍처와 하이퍼파라미터에 따라 형평성-유틸리티 트레이드오프와 방법의 안정성에 대한 포괄적인 경험적 분석을 제공하기 위해.
• 연구자와 실무자들이 그룹 형평성 연구를 위해 전처리, 평가, 구현을 표준화함으로써 지원하기 위해.

제안 방법

• 형평성 알고리즘 구현과 평가 로직을 분리하는 모듈러한, 파이토치 스타일의 학습 파이프라인 설계.
• 두 개의 민감 속성을 가진 데이터셋 포함, 널리 사용되는 14개의 형평성 데이터셋에 대한 표준화된 전처리를 통해 일관된 비교를 보장.
• 통합 평가를 위한 9개의 그룹 형평성 메트릭과 6개의 유틸리티 메트릭을 포함한 포괄적인 메트릭 세트 구현.
• 14개의 데이터셋에 대해 6개의 형평성 방법과 15개의 다양한 신경망 아키텍처를 벤치마킹하여, 1160만에서 1억 2690만 파라미터에 이르는 범위를 커버.
• 학습률 감소 기반의 조기 정지 기능을 갖춘 통합된 학습 루프를 사용하여 안정성과 수렴성을 평가.
• 재현 가능성과 확장 가능성을 보장하기 위해 전체 학습 로그와 기준 구현을 포함한 오픈소스 코드 제공.

실험 결과

연구 질문

• RQ1 널리 사용되는 형평성 데이터셋이 다양한 모델과 학습 런에 걸쳐 일관되게 형평성 문제를 보여주는가?
• RQ2 다양한 형평성 방법과 데이터셋 간의 유틸리티-형평성 트레이드오프의 성격과 크기는 어떠한가?
• RQ3 학습 중 형평성 성능 곡선은 얼마나 안정적인가, 어떤 방법이 가장 불안정한가?
• RQ4 모델 아키텍처가 형평성 성능에 미치는 영향은 어느 정도이며, 편향은 주로 데이터에 기인하는가, 아니면 모델 용량에 기인하는가?
• RQ5 학습률이 임계값 이하로 떨어질 때 조기 정지를 적용하면, 디 biases 방법의 형평성-유틸리티 균형을 효과적으로 향상시킬 수 있는가?

주요 결과

• 모든 널리 사용되는 형평성 데이터셋이 일관되게 형평성 문제를 보이지는 않으며, 이는 데이터셋 편향 일관성에 대한 기존 가정을 도전한다.
• 모든 평가된 형평성 방법에 대해 명확한 유틸리티-형평성 트레이드오프가 존재하며, 이는 형평성 완화에 핵심적인 갈등이 있음을 확인한다.
• HSIC(Hilbert-Schmidt Independence Criterion) 방법이 가장 우수한 종합 유틸리티-형평성 트레이드오프를 달성하여 더 널리 사용되는 베이스라인을 능가한다.
• 적대적 디 biases 방법은 학습 중에 형평성 성능에 심각한 불안정성을 보이며, 신뢰성에 잠재적 한계가 있음을 시사한다.
• 유틸리티 학습 곡선은 안정적인 반면, 형평성 곡선은 불안정하여, 형평성 최적화가 학습 동역학에 더 민감함을 나타낸다.
• 학습률이 임계값 이하로 떨어질 때 학습을 정지하는 것은 형평성-유틸리티 균형을 향상시키는 효과적인 실용적 전략이다.