[논문 리뷰] An Empirical Study of Modular Bias Mitigators and Ensembles

Michael Feffer, Martin Hirzel외 4명|arXiv (Cornell University)|2022. 02. 01.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 10개의 편향 완화 기법과 4개의 앙상블 방법을 결합하는 모듈러 프레임워크를 개발하여 기계학습에서 공정성과 안정성을 향상시키는 것을 제안한다. 13개의 데이터셋을 대상으로 한 실험적 평가 결과, 특히 스태킹과 부스팅과 같은 앙상블 방법이 공정성 지표의 안정성을 높이며, 최적의 구성은 데이터셋 크기와 초깃수준의 공정성에 따라 달라지며, 이에 따라 실무자들을 위한 가이던스 다이어그램을 도출하였다.

ABSTRACT

There are several bias mitigators that can reduce algorithmic bias in machine learning models but, unfortunately, the effect of mitigators on fairness is often not stable when measured across different data splits. A popular approach to train more stable models is ensemble learning. Ensembles, such as bagging, boosting, voting, or stacking, have been successful at making predictive performance more stable. One might therefore ask whether we can combine the advantages of bias mitigators and ensembles? To explore this question, we first need bias mitigators and ensembles to work together. We built an open-source library enabling the modular composition of 10 mitigators, 4 ensembles, and their corresponding hyperparameters. Based on this library, we empirically explored the space of combinations on 13 datasets, including datasets commonly used in fairness literature plus datasets newly curated by our library. Furthermore, we distilled the results into a guidance diagram for practitioners. We hope this paper will contribute towards improving stability in bias mitigation.

연구 동기 및 목표

• 편향 완화에서 공정성 지표의 불안정성, 특히 소수 집단에 대한 데이터 부족 상황에서의 문제를 해결한다.
• 앙상블 방법이 정확도의 안정성과 마찬가지로 공정성 지표의 안정성도 높일 수 있는지 조사한다.
• 편향 완화 기법과 앙상블 방법을 체계적으로 조합할 수 있도록 모듈러하고 조합 가능한 라이브러리를 개발한다.
• 데이터셋 특성과 공정성 목표에 기반하여 최적의 조합을 선택하는 데 도움이 되는 데이터 기반 가이던스를 제공한다.

제안 방법

• 10개의 AIF360 기반 편향 완화 기법과 4개의 scikit-learn 기반 앙상블 방법을 공통 인터페이스로 갖는 오픈소스 라이브러리(Lale)를 구축하여 모듈러한 조합을 가능하게 하였다.
• 표준 공정성 벤치마크와 새로 수집한 데이터셋을 포함한 13개의 데이터셋에서 실험적 평가를 수행하였으며, 공정성은 표준화된 결과와 이심성 영향 및 통계적 평등의 변동성으로 측정하였다.
• 표준화된 지표(SDO, SDV, SSO, SSV)를 사용하여 구성 간의 공정성 성능 및 안정성을 비교하였으며, 앙상블 수준와 추정기 수준의 완화 방식을 포함하였다.
• 데이터셋 크기(8,000행 이상)와 기초 불공정성(DI < 0.49)을 기반으로 한 사분면 프레임워크를 적용하여 결과를 그룹화하고 최적의 구성 조합을 식별하였다.
• 각 데이터셋에서 결과의 상위 33퍼센트를 결과 지표와 변동성 지표 양쪽 모두에서 필터링한 후, 사분면과 모델 구성별로 집계하여 결정 가이던스 다이어그램(Fig. 6)을 생성하였다.

실험 결과

연구 질문

• RQ1 모듈러 앙상블은 기계학습 모델의 공정성 지표 안정성을 향상시킬 수 있는가?
• RQ2 다양한 앙상블 유형(예: 배깅, 부스팅, 투표, 스태킹)이 다양한 편향 완화 기법과 상호작용하여 공정성 결과에 어떤 영향을 미치는가?
• RQ3 다양한 데이터셋에서 가장 안정적이고 유리한 공정성 성능을 내는 앙상블과 완화 기법의 조합은 무엇인가?
• RQ4 데이터셋 크기와 기초 공정성 수준은 최적의 앙상블 및 완화 기법 조합 선택에 어떤 영향을 미치는가?
• RQ5 데이터 기반 가이던스 다이어그램은 새로운 공정성 중심 응용 프로젝트에서 효과적인 앙상블과 완화 기법 조합을 선택하는 데 실무자들에게 도움이 될 수 있는가?

주요 결과

• 앙상블, 특히 스태킹과 부스팅은 공정성 지표의 변동성을 크게 감소시켰다. 예를 들어, 한 데이터셋에서 스태킹을 사용하고 파스스루 및 최종 완화를 적용했을 경우, SDV가 0.229로 감소하였다.
• 기본 추정기 완화와 파스스루를 적용한 스태킹은 구성 중에서 가장 높은 표준화된 이심성 영향 결과(SDO = 0.832)와 가장 낮은 변동성(SDV = 0.515)을 기록하였다.
• 크고 불공정한 데이터셋의 경우, 추정기 내부에서 완화를 수행하는 부스팅이 가장 좋은 공정성 결과를 냈으며, SDO는 0.803, SDV는 0.642였다.
• 소규모이고 불공정한 데이터셋에서는 스태킹을 사용한 추정기 후처리 완화가 최적의 성능을 보였으며, 높은 SDO(0.670)와 낮은 SDV(0.506)를 기록하였다.
• 가이던스 다이어그램(Fig. 6)은 맥락 기반 최적의 구성 조합을 식별하였으며, 어떤 조합도 모든 데이터셋과 지표에서 항상 슈퍼어리어를 기록하지는 않음을 보여주었다.
• 높은 공정성 향상이 이루어져도 최적의 구성은 데이터셋 크기와 초깃수준의 공정성에 크게 의존하므로, 맥락 인식 기반의 선택이 필수적임을 확인하였다.