[논문 리뷰] Software Engineering for Fairness: A Case Study with Hyperparameter Optimization

Joymallya Chakraborty, Tianpei Xia외 2명|arXiv (Cornell University)|2019. 05. 14.

Machine Learning and Data Classification참고 문헌 23인용 수 15

한 줄 요약

이 논문은 다중목표 하이퍼파라미터 최적화를 사용하여 기계학습 모델 성능과 공정성을 동시에 향상시키는 것을 제안하며, 예측 정확도를 희생시키지 않은 채 공정성을 향상시킬 수 있음을 입증한다. 공정성 지표(AOD, EOD)를 FLASH 알고리즘을 통해 최적화 과정에 통합함으로써, 여러 데이터셋과 모델에서 유의미한 공정성 향상을 달성했으며, 성능 손실는 최소화되었다.

ABSTRACT

We assert that it is the ethical duty of software engineers to strive to reduce software discrimination. This paper discusses how that might be done. This is an important topic since machine learning software is increasingly being used to make decisions that affect people's lives. Potentially, the application of that software will result in fairer decisions because (unlike humans) machine learning software is not biased. However, recent results show that the software within many data mining packages exhibits "group discrimination"; i.e. their decisions are inappropriately affected by "protected attributes"(e.g., race, gender, age, etc.). There has been much prior work on validating the fairness of machine-learning models (by recognizing when such software discrimination exists). But after detection, comes mitigation. What steps can ethical software engineers take to reduce discrimination in the software they produce? This paper shows that making extit{fairness} as a goal during hyperparameter optimization can (a) preserve the predictive power of a model learned from a data miner while also (b) generates fairer results. To the best of our knowledge, this is the first application of hyperparameter optimization as a tool for software engineers to generate fairer software.

연구 동기 및 목표

• 기계학습 시스템에서 알고리즘적 차별을 줄이기 위한 소프트웨어 엔지니어의 윤리적 책임을 다루기 위해.
• 하이퍼파라미터 최적화를 활용하여 성능을 유지하면서도 공정성을 햖थ기 수 있는지 조사하기 위해.
• 모델 훈련 과정에서 공정성을 첫 번째 최적화 목표로 간주하는 프레임워크를 제안하기 위해.
• 실제 데이터셋에서 공정성, 재현율, 위험 경고 비율 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• 저자는 기계학습 하이퍼파라미터의 다중목표 최적화를 위해 FLASH(Fast, Lightweight, and Adaptive Search for Hyperparameters) 알고리즘을 적용한다.
• 로지스틱 회귀(C, penalty, solver, max_iter)와 CART(criterion, splitter, min_samples_leaf, min_samples_split)에 대해 네 가지 핵심 하이퍼파라미터를 조정한다.
• 최적화는 네 가지 목표를 동시에 추구한다: 재현율 최대화, 위험 경고 최소화, 그리고 공정성에 대한 평균 오즈 차이(AOD)와 동일 기회 차이(EOD) 최소화.
• 공정성 지표(AOD 및 EOD)는 최적화 과정에 제약 조건 또는 목표로 통합되어 보호되는 특성(예: 인종, 성별, 연령)에 걸쳐 그룹 공정성을 확보한다.
• 이 접근법은 공정성을 사후 점검이 아닌 모델 개발 과정 중 통합된 목표로 간주하여 소프트웨어 엔지니어링의 최적 실천과 일치시킨다.
• 실험은 보편적으로 사용되는 세 가지 벤치마크 데이터셋(German, Adult, Compas)을 대상으로 실시되었으며, 보호되는 특성이 여러 개인 경우를 고려하여 최적화 이전과 이후의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 RQ1: 공정성 최적화가 모델 성능(예: 재현율, 위험 경고 비율)을 떨어뜨리는가?
• RQ2 RQ2: 다중목표 최적화를 통해 공정성과 성능을 동시에 향상시킬 수 있는가?
• RQ3 RQ3: 공정성 인식 하이퍼파라미터 최적화의 계산 비용은 얼마인가?

주요 결과

• German 데이터셋의 경우, 최적화된 모델은 재현율(0.13 → 0.13, 안정적), 위험 경고(0.03 → 0.03)를 유지했고, AOD(0.14 → 0.11)와 EOD(0.05 → 0.03)가 유의미하게 향상되었다.
• Adult 데이터셋에서는 재현율이 안정적으로 유지(0.41 → 0.41), 위험 경고가 감소(0.07 → 0.07), AOD는 감소(0.14 → 0.14), EOD는 향상(0.22 → 0.22)되어 성능 손실 없이 공정성 향상을 확인했다.
• Compas 데이터셋에서는 재현율이 유지(0.53 → 0.53), 위험 경고는 약간 증가(0.25 → 0.25), 그러나 AOD(0.10 → 0.10)와 EOD(0.13 → 0.13)가 향상되어 소량의 성능 희생에도 불구하고 공정성 향상이 이루어졌다.
• 최적화 과정은 German 데이터셋에 대해 3.55초, Compas에 대해 4.34초, Adult에 대해 16.33초가 소요되었으며, 공정성 이점를 고려할 때 허용 가능한 수준으로 평가되었다.
• 기존 연구와 비교했을 때, 제안된 방법은 성능 저하가 훨씬 적었으며, 결과 행렬에서 '손상된' 셀의 수가 훨씬 적었다.
• 이 연구는 하이퍼파라미터 최적화를 통해 예측 능력을 훼손하지 않은 채 공정성을 체계적으로 향상시킬 수 있음을 확인했다.