[논문 리뷰] Promoting Fairness through Hyperparameter Optimization

André F. Cruz, Pedro Saleiro외 3명|arXiv (Cornell University)|2021. 03. 23.

Machine Learning and Data Classification참고 문헌 38인용 수 6

한 줄 요약

이 논문은 추가적인 학습 비용 없이 기계학습에서 알고리즘 편향을 줄이기 위한 교체 가능한 솔루션으로 공정성 인지 하이퍼파rameter 최적화(HO)를 제안한다. 랜덤 서치, TPE, Hyperband을 공정성과 예측 성능을 동시에 최적화하도록 확장함으로써, 실제 사기 탐지 데이터셋에서 성능 저하가 6%에 그치는 동안 평균 공정성 향상률이 111%에 이르렀다.

ABSTRACT

Considerable research effort has been guided towards algorithmic fairness but real-world adoption of bias reduction techniques is still scarce. Existing methods are either metric- or model-specific, require access to sensitive attributes at inference time, or carry high development or deployment costs. This work explores the unfairness that emerges when optimizing ML models solely for predictive performance, and how to mitigate it with a simple and easily deployed intervention: fairness-aware hyperparameter optimization (HO). We propose and evaluate fairness-aware variants of three popular HO algorithms: Fair Random Search, Fair TPE, and Fairband. We validate our approach on a real-world bank account opening fraud case-study, as well as on three datasets from the fairness literature. Results show that, without extra training cost, it is feasible to find models with 111% mean fairness increase and just 6% decrease in performance when compared with fairness-blind HO.

연구 동기 및 목표

• 실세계 기계학습 파이프라인에 구현 가능한 공정성 통합의 격차를 메우기 위해.
• 추가적인 학습 또는 계산 비용 없이 알고리즘 편향을 완화하기 위해.
• 기존의 HO 워크플로우를 활용해 기계학습 전문가가 공정성-성능 트레이드오프를 탐색할 수 있도록 하기 위해.
• HO에서 공정성-성능 트레이드오프 가중치를 자동으로 설정하는 히우리스틱을 개발하기 위해.
• 실세계 및 벤치마크 데이터셋에서 공정성 인지 HO의 효과를 입증하기 위해.

제안 방법

• 최신의 세 가지 HO 알고리즘 — 랜덤 서치, 트리 구조 파르젠 추정기(TPE), Hyperband — 를 공정성 인지 변형으로 확장: 공정성 랜덤 서치, 공정성 TPE, Fairband.
• 예측 성능 및 공정성 지표의 가중치를 부여한 스칼라화를 통한 다목적 최적화 수식 설정.
• 밴딧 기반 환경에서 최적의 공정성 가중치를 자동으로 결정하는 데 사용되는 FB-auto라는 히우리스틱 도입.
• 편향 감소 기법인 지수적 기울기(EG)를 하이퍼파rameter 검색 공간에 통합하여 공정성 향상 설정 탐색.
• 데이터셋 및 작업에 따라 등가된 기회 또는 거짓 양성 비율 일치 기반의 공정성 지표 사용.
• 대규모 은행 계좌 개설 사기 탐지 시스템과 세 개의 공개 공정성 데이터셋에 프레임워크 적용.

실험 결과

연구 질문

• RQ1 하이퍼파rameter 최적화를 통해 추가 학습 비용 없이 기계학습 모델의 공정성을 크게 향상시킬 수 있는가?
• RQ2 실세계 및 벤치마크 데이터셋에서 표준 HO 대비 공정성 인지 HO의 공정성-성능 트레이드오프는 어떻게 다를까?
• RQ3 밴딧 기반 HO 설정에서 히우리스틱이 공정성-성능 트레이드오프 가중치를 자동으로 설정할 수 있는가?
• RQ4 기계학습 모델 유형의 선택이 HO에서 달성 가능한 공정성-성능 트레이드오프에 영향을 미치는가?
• RQ5 예측 성능 수준이 고정된 상황에서 공정성 결과에 상당한 산포가 존재하는가? 이는 탐색 가능한 트레이드오프를 의미하는가?

주요 결과

• 실세계 계좌 개설 사기 탐지 데이터셋에서 공정성 인지 HO는 표준 HO 대비 평균 공정성 지표에서 111% 향상되었고, 사기 탐지율은 단지 6% 감소에 그쳤다.
• 공정성-성능 파레토 경계는 특정 성능 수준에서 공정성 수준의 상당한 변동성을 보이며, 성능 저하 없이도 공정성을 향상시킬 수 있음을 시사한다.
• Fairband와 FairTPE는 항상 파레토 경계 근처 또는 그 위에 있는 모델을 지속적으로 식별했으며, Fairband는 런 간에 더 안정적인 수렴을 보였다.
• LGBM 모델은 계좌 개설 사기 탐지 데이터셋에서 공정성-성능 트레이드오프 공간에서 지배적인 위치를 차지하여, 모델 유형이 공정성 결과에 영향을 미칠 수 있음을 시사한다.
• HO 공간에 편향 감소 알고리즘인 지수적 기울기(EG)를 포함시키면 파레토 경계가 확장될 수 있지만, 전적으로 이를 사용할 경우 최적의 트레이드오프를 도출하지 못할 수 있다.
• 이 연구는 표준 HO가 성능 최적화만을 위해 설계되어 있어, 무작위로 공정성 부족 영역의 하이퍼파rameter 공간을 선택하게 되며, 이는 공정성 인지 조정의 필요성을 부각시킨다.