[논문 리뷰] Preventing Discriminatory Decision-making in Evolving Data Streams

Zichong Wang, Nripsuta Ani Saxena외 9명|arXiv (Cornell University)|2023. 02. 16.

Data Stream Mining Techniques인용 수 6

한 줄 요약

이 논문은 개념 드프트와 공정성 드프트를 동시에 고려하는 스트리밍 데이터를 위한 새로운 온라인 공정한 클래스 재균형 기법인 FS2를 소개한다. 공정성-성능 트레이드오프를 평가하기 위한 통합 지표인 공정한 유용성(FAIR BONDED UTILITY, FBU)을 제안하며, 개념 드프트가 있는 여러 실제 및 시뮬레이션 데이터 스트림에서 공정성과 성능 면에서 뛰어난 성능을 입증한다.

ABSTRACT

Bias in machine learning has rightly received significant attention over the last decade. However, most fair machine learning (fair-ML) work to address bias in decision-making systems has focused solely on the offline setting. Despite the wide prevalence of online systems in the real world, work on identifying and correcting bias in the online setting is severely lacking. The unique challenges of the online environment make addressing bias more difficult than in the offline setting. First, Streaming Machine Learning (SML) algorithms must deal with the constantly evolving real-time data stream. Second, they need to adapt to changing data distributions (concept drift) to make accurate predictions on new incoming data. Adding fairness constraints to this already complicated task is not straightforward. In this work, we focus on the challenges of achieving fairness in biased data streams while accounting for the presence of concept drift, accessing one sample at a time. We present Fair Sampling over Stream ($FS^2$), a novel fair rebalancing approach capable of being integrated with SML classification algorithms. Furthermore, we devise the first unified performance-fairness metric, Fairness Bonded Utility (FBU), to evaluate and compare the trade-off between performance and fairness of different bias mitigation methods efficiently. FBU simplifies the comparison of fairness-performance trade-offs of multiple techniques through one unified and intuitive evaluation, allowing model designers to easily choose a technique. Overall, extensive evaluations show our measures surpass those of other fair online techniques previously reported in the literature.

연구 동기 및 목표

• 개념 드프트가 있는 진화하는 데이터 스트림에서 공정성 인식 온라인 학습 방법의 부족을 해결한다.
• 온라인 환경에서 모델 성능과 공정성 간의 트레이드오프를 평가하기 위한 통합 지표를 개발한다.
• 실시간으로 동작하고 메모리 효율적인 방법을 설계하여 스트리밍 데이터에서 편향을 줄인다.
• 기존 데이터를 재처리하지 않고도 개념 드프트와 공정성 드프트 양쪽에 적응하도록 보장한다.
• 의료 및 범죄 정의와 같은 실세계 온라인 시스템에서 공정한 기계 학습의 실용적 구현을 가능하게 한다.

제안 방법

• 스트림 상에서의 공정한 샘플링(FS2)을 제안하며, 최근 데이터를 우선시하기 위해 감쇠 요소를 사용하여 데이터 스트림 내 소수 클래스 인스턴스를 동적으로 재가중하는 전처리 기법이다.
• 성능(균형 정확도)과 공정성(누적 SPD/EOD)을 통합하여 단일 해석 가능한 점수로 만드는 Fair Bonded Utility(FBU)를 도입한다.
• 가변 크기로 설정 가능한 슬라이딩 윈도우 메커니즘을 사용하여 최근 데이터를 추적하고 개념 드프트를 탐지하며, 오래된 인스턴스를 기각함으로써 관련성을 유지한다.
• 역사적 데이터의 영향을 제어하기 위해 감쇠 요소를 사용하여 드프트에 대한 반응성과 클래스 불균형 추정의 안정성 간의 균형을 이룬다.
• 모델 재학습이나 다중 데이터 스캔 없이 기존 스트리밍 기계 학습(SML) 분류기와 원활하게 통합된다.
• 시간에 따라 변화하는 공정성 드프트를 추적하고 재균형 결정을 안내하기 위해 누적 공정성 지표(CumSPD, CumEOD)를 사용한다.

실험 결과

연구 질문

• RQ1 개념 드프트와 공정성 드프트를 동시에 다룰 수 있는 공정한 재균형 방법을 설계할 수 있는가?
• RQ2 감쇠 요소와 윈도우 크기가 동적 환경에서 FS2의 성능과 공정성에 어떤 영향을 미치는가?
• RQ3 FBU와 같은 통합 지표가 여러 온라인 공정성 기법 간의 공정성-성능 트레이드오프를 효과적으로 비교하는 데 유용한가?
• RQ4 개념 드프트 하에서 기존 온라인 공정성 방법(C-SMOTE, OSBoost, FABBOO 등)과 비교해 FS2는 공정성과 예측 정확도 면에서 어떤가?
• RQ5 FS2는 데이터 저장 또는 재처리 없이 변화하는 데이터 분포에 적응하면서도 공정성을 얼마나 잘 유지할 수 있는가?

주요 결과

• BNK 데이터셋에서 FS2는 가장 높은 균형 정확도(0.81)와 가장 낮은 누적 SPD(0.02)를 기록하여 모든 베이스라인을 압도했다.
• GMSC 데이터셋에서 FS2는 0.83의 균형 정확도와 0.01의 누적 SPD를 기록하여 성능과 공정성 양면에서 1위를 차지했다.
• FBU는 공정성과 성능 간의 트레이드오프를 효과적으로 포착하여, 별도의 공정성 및 정확도 평가 없이도 방법 간 직접 비교를 가능하게 했다.
• FS2의 최적 윈도우 크기는 1000~2000으로 확인되었으며, 이는 더 큰 윈도우는 개념 드프트에 적응하지 못하고, 더 작은 윈도우는 성능을 희생하면서까지 공정성을 향상시키는 경향이 있었다.
• 감쇠 요소는 성능에 큰 영향을 미쳤다: 너무 낮거나 너무 높은 값은 결과를 악화시켰으며, 최적의 성능는 약 0.9 근처에서 달성되었다.
• FS2는 개념 드프트에 강력한 적응력을 보였으며, 드프트 이벤트 이후 성능과 공정성을 빠르게 회복했고, C-SMOTE는 상당한 성능 저하를 겪었다.