[논문 리뷰] FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions

Sebastian Schelter, Yuxuan He외 2명|arXiv (Cornell University)|2019. 11. 28.

Ethics and Social Impacts of AI참고 문헌 34인용 수 21

한 줄 요약

FairPrep는 데이터 전처리를 공정성 향상 기계학습에서의 핵심 요소로 높이 올리는 개발자 중심 프레임워크입니다. 초모수 조정, 특성 스케일링, 데이터 보간과 같은 간섭 조치의 체계적 평가를 가능하게 하여, 다양한 연구에서 관찰되는 공정성 결과의 변동성이 종종 모델의 본질적 불안정성보다는 부족한 초모수 조정과 데이터 정제의 결과임을 입증합니다.

ABSTRACT

The importance of incorporating ethics and legal compliance into machine-assisted decision-making is broadly recognized. Further, several lines of recent work have argued that critical opportunities for improving data quality and representativeness, controlling for bias, and allowing humans to oversee and impact computational processes are missed if we do not consider the lifecycle stages upstream from model training and deployment. Yet, very little has been done to date to provide system-level support to data scientists who wish to develop and deploy responsible machine learning methods. We aim to fill this gap and present FairPrep, a design and evaluation framework for fairness-enhancing interventions. FairPrep is based on a developer-centered design, and helps data scientists follow best practices in software engineering and machine learning. As part of our contribution, we identify shortcomings in existing empirical studies for analyzing fairness-enhancing interventions. We then show how FairPrep can be used to measure the impact of sound best practices, such as hyperparameter tuning and feature scaling. In particular, our results suggest that the high variability of the outcomes of fairness-enhancing interventions observed in previous studies is often an artifact of a lack of hyperparameter tuning. Further, we show that the choice of a data cleaning method can impact the effectiveness of fairness-enhancing interventions.

연구 동기 및 목표

• 책임감 있는 기계학습 시스템을 개발하는 데 있어 데이터 과학자들에게 체계적 지원이 부족한 문제를 해결한다.
• 공정성 향상 간섭 조치에 관한 기존 실험적 연구의 결함을 규명하며, 특히 실험 설계가 불량하여 발생하는 일관성 없는 결과에 초점을 맞춘다.
• 보간 및 특성 스케일링과 같은 데이터 전처리를 공정성 평가의 핵심 단계로 삼아야 한다는 점을 강조한다.
• 소프트웨어 공학 및 기계학습의 최고 실천 기준을 유지하면서도 저비용으로 사용자 맞춤형으로 공정성 실험을 구성할 수 있도록 한다.
• 기술적 배경이 없는 사용자도 확장 가능하고 모듈화된 구성 요소 및 향후 시각화 기능을 통해 공정성 분석을 수행할 수 있도록 지원한다.

제안 방법

• 공정성 간섭 조치를 종단 간 기계학습 파이프라인에 통합하기 위해 개발자 중심 접근 방식을 기반으로 한 모듈식이고 확장 가능한 프레임워크를 설계한다.
• 결측치 보간(예: Datawig), 특성 스케일링, k-겹 교차 검증을 통한 초모수 조정을 포함한 표준 데이터 전처리 기법을 통합한다.
• 가변 초모수 그리드를 설정할 수 있도록 표준 기계학습 라이브러리(예: scikit-learn)를 사용하여 모델 선택 및 검증을 지원한다.
• 테스트 데이터의 격리와 데이터 泄露를 방지하기 위한 적절한 평가 프로토콜을 확보한다.
• 다양한 전처리 및 조정 전략 간의 공정성 결과를 비교할 수 있도록 체계적인 워크플로우를 제공한다.
• 향후 간섭 조치, 예를 들어 계층적 샘플링, 임베딩, 비이元 분류 작업 등에 대응할 수 있도록 확장 가능한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 초모수 조정이 경험적 공정성 연구에서 공정성 결과의 변동성에 얼마나 큰 영향을 미치는가?
• RQ2 다양한 데이터 보간 방법은 기계학습 모델의 공정성과 정확성에 어떤 영향을 미치는가?
• RQ3 데이터 전처리는 다양한 민족적·성별 집단 간 이질적 오류 비율을 완화하는 데 어떤 역할을 하는가?
• RQ4 체계적이고 최고 실천 기반의 프레임워크는 공정성 평가의 기술적 빚을 줄이고 재현 가능성을 향상시킬 수 있는가?
• RQ5 실제 기계학습 파이프라인에서 데이터 과학자들이 공정성 향상 간섭 조치를 어떻게 모듈식으로 조합하고 맞춤화할 수 있는가?

주요 결과

• 이전 연구에서 관찰된 공정성 결과의 높은 변동성은 종종 모델의 본질적 불안정성 때문이 아니라 부족한 초모수 조정 탓인 경우가 많다.
• 데이터 보간 방법의 선택은 공정성 간섭 조치의 효과성에 상당한 영향을 미치며, Datawig와 같은 최첨단 방법은 기본 평균 보간보다 편향을 더 효과적으로 줄인다.
• 특성 스케일링은 모델 일반화 능력을 향상시키고, 특히 적절한 초모수 조정과 병행할 경우 다양한 민족적·성별 집단 간 오류 비율의 격차를 줄이는 데 기여한다.
• 결측치를 철저히 다루는 철저한 데이터 전처리가 공정하고 정확한 모델 성능을 달성하는 데 필수적이다.
• FairPrep는 재현 가능하고 모듈식이며 맞춤형으로 조정 가능한 공정성 간섭 조치 평가를 가능하게 하여 기술적 빚을 줄이고 실험적 엄밀함을 향상시킨다.
• 이 프레임워크는 공정성이 오직 모델 수준의 문제만이 아니라 상류의 데이터 준비 단계에 깊이 영향을 받는다는 점을 입증한다.