[논문 리뷰] A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization

André F. Cruz, Pedro Saleiro외 3명|arXiv (Cornell University)|2020. 10. 07.

Machine Learning and Data Classification참고 문헌 42인용 수 6

한 줄 요약

Fairband는 예측 정확도 손실을 최소화하면서 공정성-정확도 트레이드오프를 효율적으로 탐색할 수 있도록 설계된 밴딧 기반 초모수 최적화 알고리즘입니다. 이 알고리즘은 학습 비용을 증가시키지 않으면서도 더 공정한 모델 설정으로의 탐색을 이끌어내어, 공정성 향상 폭이 최대 44.8%에 이르며 예측 정확도는 단지 0.8% 감소할 뿐이며, 실세계 데이터셋에서 공정성 무시 기반 방법들을 능가합니다.

ABSTRACT

Considerable research effort has been guided towards algorithmic fairness but there is still no major breakthrough. In practice, an exhaustive search over all possible techniques and hyperparameters is needed to find optimal fairness-accuracy trade-offs. Hence, coupled with the lack of tools for ML practitioners, real-world adoption of bias reduction methods is still scarce. To address this, we present Fairband, a bandit-based fairness-aware hyperparameter optimization (HO) algorithm. Fairband is conceptually simple, resource-efficient, easy to implement, and agnostic to both the objective metrics, model types and the hyperparameter space being explored. Moreover, by introducing fairness notions into HO, we enable seamless and efficient integration of fairness objectives into real-world ML pipelines. We compare Fairband with popular HO methods on four real-world decision-making datasets. We show that Fairband can efficiently navigate the fairness-accuracy trade-off through hyperparameter optimization. Furthermore, without extra training cost, it consistently finds configurations attaining substantially improved fairness at a comparatively small decrease in predictive accuracy.

연구 동기 및 목표

• 실세계 머신러닝 파이프라인에 공정성 목표를 통합하는 데 실용적인 도구가 부족한 문제를 해결하기 위해.
• 학습 예산을 늘리지 않거나 병렬 처리 능력을 훼손하지 않으면서도 공정성-정확도 트레이드오프를 효율적으로 탐색할 수 있도록 하기 위해.
• 모델 유형, 초모수 공간, 공정성 메트릭에 관계없이 적용 가능한 방법을 개발하기 위해.
• 다중목표 공정성-정확도 최적화에서 수동 가중치 조정이 필요 없도록 하기 위해.
• 간편하고 자원 효율적이며 즉시 사용 가능한 초모수 최적화 알고리즘을 통해 공정성 연구와 실세계 머신러닝 실무 간 격차를 메우기 위해.

제안 방법

• Fairband는 성공적 절단(성공적 반감)과 하이퍼밴드를 확장하여 맥락 기반 밴딧을 사용한 공정성 인식 탐색을 통합합니다.
• 공정성-정확도 트레이드오프를 향상시키는 구성 요소를 우선순위에 두어 초모수 탐색에서 탐색과 이용의 동적 균형을 유지합니다.
• 선택을 이끄는 데 공정성 인식 상한 신뢰도(UCB)를 사용하며, 원하는 공정성 수준을 향해 자동으로 $α$-파라미터를 조정합니다.
• 공정성 무시 탐색 공간과 공정성 인식 탐색 공간을 모두 지원하며, Exponentiated Gradient(EG)와 같은 편향 감소 기법과의 통합도 가능합니다.
• 모델 독립적이고 메트릭 독립적이므로 기존 머신러닝 파이프라인에 원활하게 통합할 수 있습니다.
• 수동 목표 함수 가중치 설정이 필요 없는 동적 순위 매기기 메커니즘을 통해 공정성과 정확도 간 균형을 유지합니다.

실험 결과

연구 질문

• RQ1 밴딧 기반 초모수 최적화 방법이 실세계 머신러닝 파이프라인에서 공정성-정확도 트레이드오프를 효과적으로 탐색할 수 있는가?
• RQ2 초모수 조정을 통해 예측 정확도 손실을 최소화하면서 공정성은 어느 정도 향상시킬 수 있는가?
• RQ3 공정성 인식 초모수 최적화 방법이 공정성 무시 기반 기준보다 최적의 공정성-정확도 트레이드오프를 더 잘 식별하는가?
• RQ4 자동 $α$-파라미터 조정이 공정성-정확도 최적화에서 수동 조정이 필요 없도록 할 수 있는가?
• RQ5 Exponentiated Gradient와 같은 편향 감소 기법을 초모수 탐색에 통합할 경우 공정성-정확도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• Adult 데이터셋에서 Fairband는 정확도가 가장 높은 모델(A)보다 공정성 점수를 44.8% 높게 달성했으며, 예측 정확도는 단지 0.8% 감소했습니다.
• 알고리즘이 공정성 무시 기반 방법보다 항상 더 나은 공정성-정확도 트레이드오프를 발견했으며, 이는 무의식적으로 덜 공정한 구성 요소를 타깃으로 삼는다는 점에서 뚜렷합니다.
• 편향 감소 기법인 Exponentiated Gradient가 탐색 공간에 포함되어 있음에도 불구하고, Fairband는 공정성-정확도 트레이드오프가 더 뛰어난 신경망 및 결정 트리 등의 다른 모델을 더 자주 선호했습니다.
• EG의 도입으로 공정성-정확도 공간에서 새로운 모델 클러스터가 생성되었지만, Fairband는 여전히 전체 성능가치가 높은 비-EG 모델을 더 자주 선택했습니다.
• Fairband는 추가 학습 비용 없이 네 개의 실세계 의사결정 데이터셋에서 뚜렷한 공정성 향상을 보였습니다.
• 이 방법은 정확도 손실이 매우 적은 수준에서 상당한 공정성 향상이 가능하며, 공정성-정확도 트레이드오프가 초모수 설정에 매우 민감하게 반응함을 보여주었습니다.