[논문 리뷰] Adaptive Sampling to Reduce Disparate Performance

Jacob Abernethy, Pranjal Awasthi외 3명|arXiv (Cornell University)|2020. 06. 11.

Machine Learning and Algorithms참고 문헌 38인용 수 11

한 줄 요약

이 논문은 학습 중에 성능이 열악한 디모그라픽 그룹으로부터 데이터를 동적으로 우선순위를 두어 기계학습 분류기의 이질적인 성능을 줄이기 위해 적응형 샘플링을 제안한다. 가장 불리한 그룹으로부터 지속적으로 샘플링함으로써, 데이터 수집 오버헤드를 최소화하면서도 이론적 분석과 실제 데이터 평가를 통해 모든 그룹 간에 균형 잡힌 성능을 달성한다. 이는 플린트 물 위기 데이터셋을 포함한 실제 사례에서도 검증되었다.

ABSTRACT

Existing methods for reducing disparate performance of a classifier across different demographic groups assume that one has access to a large data set, thereby focusing on the algorithmic aspect of optimizing overall performance subject to additional constraints. However, poor data collection and imbalanced data sets can severely affect the quality of these methods. In this work, we consider a setting where data collection and optimization are performed simultaneously. In such a scenario, a natural strategy to mitigate the performance difference of the classifier is to provide additional training data drawn from the demographic groups that are worse off. In this paper, we propose to consistently follow this strategy throughout the whole training process and to guide the resulting classifier towards equal performance on the different groups by adaptively sampling each data point from the group that is currently disadvantaged. We provide a rigorous theoretical analysis of our approach in a simplified one-dimensional setting and an extensive experimental evaluation on numerous real-world data sets, including a case study on the data collected during the Flint water crisis.

연구 동기 및 목표

• 불균형하거나 품질이 낮은 데이터로 인해 디모그라픽 그룹 간 기계학습 분류기의 이질적인 성능 문제를 해결하기 위해.
• 큰 균형 잡힌 데이터셋에 접근 가능하다는 가정 없이, 데이터 수집과 모델 최적화를 실시간으로 통합하는 방법을 개발하기 위해.
• 현재 불리한 디모그라픽 그룹으로부터 적응형으로 샘플링하여 학습 과정을 모든 그룹 간 동일한 성능으로 이끌기 위해.
• 동적 데이터 샘플링을 통한 공정성 향상에 대해 이론적으로 탄탄하고 실증적으로 검증된 접근법을 제공하기 위해.

제안 방법

• 현재 분류기에서 성능이 가장 낮은 디모그라픽 그룹으로부터 데이터 포인트를 적응형으로 샘플링한다.
• 학습 중에 그룹별 성능 지표를 기반으로 실시간으로 샘플링 확률을 조정한다.
• 수렴성과 공정성 보장을 확보하기 위해 단순화된 일차원 설정에서 이론적 분석을 수행한다.
• 플린트 물 위기 데이터를 포함한 여러 실제 데이터셋에서 평가하여 실용적 효과를 입증한다.
• 학습 전반에 걸쳐 그룹별 성능을 모니터링하고, 성능이 낮은 그룹으로 샘플링을 편향시켜 격차를 시정한다.

실험 결과

연구 질문

• RQ1 큰 사전 데이터셋이 필요 없이 학습 중에 적응형 샘플링을 통해 디모그라픽 그룹 간 이질적인 성능을 줄일 수 있는가?
• RQ2 성능이 열악한 그룹을 동적으로 우선순위로 삼는 것이 전체 공정성과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 단순화된 통제된 설정에서 적응형 샘플링에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 본질적으로 데이터가 불균형한 실제 데이터셋에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 적응형 샘플링 방법은 합성 및 실제 데이터 모두에서 디모그라픽 그룹 간 성능 격차를 크게 줄였다.
• 플린트 물 위기 사례 연구에서, 이 방법은 다양한 디모그라픽 특성을 가진 지역 사회 간에 더 균형 잡힌 예측 성능을 달성했다.
• 일차원 설정에서의 이론적 분석은 약한 가정 하에 방법이 공정한 해법으로 수렴함을 확인했다.
• 실증 결과는 여러 벤치마크 데이터셋에서 전체 모델 정확도를 희생시키지 않고도 공정성 지표가 일관되게 향상됨을 보여주었다.