[논문 리뷰] The Rich Get Richer: Disparate Impact of Semi-Supervised Learning

Zhaowei Zhu, Tianyi Luo외 1명|arXiv (Cornell University)|2021. 10. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 8

한 줄 요약

이 논문은 준지도학습(SSL)이 공정성 격차를 악화시킬 수 있음을 드러내며, 기본 정확도가 높은 '부유한' 하위집단은 SSL에서 더 많은 이점을 얻는 반면, 기본 정확도가 낮은 '빈곤한' 하위집단은 성능 저하를 겪을 수 있음을 보여준다. 저자들은 이러한 이질적 영향을 정량화하기 위해 이익 비율 지표를 제안하고, 이론과 실험을 통해 데이터 균형 조절과 더 많은 레이블 데이터 확보가 이미지 및 텍스트 분류 과제 전반에서 이러한 불평등을 완화시킬 수 있음을 입증한다.

ABSTRACT

Semi-supervised learning (SSL) has demonstrated its potential to improve the model accuracy for a variety of learning tasks when the high-quality supervised data is severely limited. Although it is often established that the average accuracy for the entire population of data is improved, it is unclear how SSL fares with different sub-populations. Understanding the above question has substantial fairness implications when different sub-populations are defined by the demographic groups that we aim to treat fairly. In this paper, we reveal the disparate impacts of deploying SSL: the sub-population who has a higher baseline accuracy without using SSL (the "rich" one) tends to benefit more from SSL; while the sub-population who suffers from a low baseline accuracy (the "poor" one) might even observe a performance drop after adding the SSL module. We theoretically and empirically establish the above observation for a broad family of SSL algorithms, which either explicitly or implicitly use an auxiliary "pseudo-label". Experiments on a set of image and text classification tasks confirm our claims. We introduce a new metric, Benefit Ratio, and promote the evaluation of the fairness of SSL (Equalized Benefit Ratio). We further discuss how the disparate impact can be mitigated. We hope our paper will alarm the potential pitfall of using SSL and encourage a multifaceted evaluation of future SSL algorithms.

연구 동기 및 목표

• 준지도학습(SSL)이 특정 하위집단에 대해 다른 하위집단보다 비례적으로 더 많은 이점을 줄지 여부를 조사하는 것.
• 특히 클래스 수준 또는 인구통계학적 수준의 정확도로 정의된 하위집단에서 발생하는 SSL의 이질적 영향의 근본 원인을 이해하는 것.
• SSL 적용 후 하위집단 간 모델 정확도 향상의 정규화된 정도를 측정하기 위해 새로운 공정성 평가 지표인 이익 비율을 제안하는 것.
• 불공정성을 줄이기 위한 실용적 보완 전략—예를 들어 데이터 균형 조절과 더 많은 레이블 데이터 확보—의 평가 및 제안.
• 평균 정확도를 넘어서는 다각적 평가를 통해 준지도학습 알고리즘의 공정성에 대한 강조를 위한 것.

제안 방법

• 저자들은 일관성 정규화의 SSL과 노이즈 있는 레이블 학습 간의 연결 고리를 제공하는 통합 분석 프레임워크를 개발하여 일반화 오차의 이론적 분석을 가능하게 한다.
• SSL의 일반화 오차에 대한 상한을 유도하며, 작은 규모의 지도학습 데이터셋은 이질적인 오차를 유도하여 이질적 영향을 유발함을 보여준다.
• 각 하위집단의 SSL 적용 후 정확도 향상의 정규화된 정도를 측정하기 위해 새로운 지표인 이익 비율을 도입한다.
• 이익 비율은 SSL에서 '매튜 효과'(가난한 자는 더욱 가난해지고 부유한 자는 더욱 부유해지는 현상)를 탐지하는 데 사용되며, 높은 기본 정확도 집단은 더 큰 성과 향상(비율 >1)을 경험하고, 낮은 기본 정확도 집단은 성능 저하를 겪을 수 있음을 나타낸다.
• 저자들은 MixMatch를 포함한 여러 SSL 방법을 사용하여 CIFAR-10, CIFAR-100 및 Jigsaw 독성 데이터셋에서 이익 비율을 실증적으로 평가한다.
• 두 가지 보완 전략—레이블된 데이터와 비레이블된 데이터의 균형 조절, 추가 레이블 데이터 확보—를 적용하고, 이들이 이익 비율의 분산과 음수 비율 감소에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 클래스 또는 인구통계학적 집단으로 정의된 하위집단 간에 준지도학습이 불균형한 성과 향상을 초래하는가?
• RQ2 왜 기본 정확도가 높은 하위집단은 SSL에서 더 많은 이점을 얻는가? 반면 다른 하위집단은 성능 저하를 겪는가?
• RQ3 이익 비율 지표는 다양한 그룹 간 SSL의 이질적 영향을 효과적으로 드러내고 정량화할 수 있는가?
• RQ4 데이터 균형 조절과 더 많은 레이블 데이터 확보가 준지도학습의 불공정성에 얼마나 효과적으로 기여하는가?
• RQ5 관찰된 매튜 효과—'부유한 자는 더욱 부유해지고 빈곤한 자는 더욱 빈곤해지는' 현상—에 대한 이론적 근거가 있는가?

주요 결과

• 준지도학습에서 '부유한 자는 더욱 부유해지는' 현상은 광범위하게 나타난다: 높은 기본 정확도를 가진 하위집단은 일관되게 높은 이익 비율을 기록하며, 일부는 1을 초월해 성과 향상이 증폭됨을 보여준다.
• CIFAR-10의 비균형 설정에서 개 클래스는 MixMatch 적용 후 -9.57%의 음수 이익 비율을 기록하여 SSL 이후 성능 저하를 겪었다.
• Jigsaw 데이터셋에서는 비균형 설정에서 8개의 인종 신분 중 4개가 음수 이익 비율을 기록하여 텍스트 분류에서 심각한 공정성 문제를 드러냈다.
• Jigsaw에서 총 800개의 레이블 데이터를 사용해 레이블 및 비레이블 데이터를 균형 조절한 결과, 이익 비율의 표준편차는 7.64%로 감소했고, 음수 비율을 기록한 집단은 오직 한 개로 줄어들었다.
• 이익 비율 지표는 이질적 영향을 효과적으로 포착하며, 이론적 일반화 경계에 기반하여 공정성 평가에 있어 신뢰할 수 있음을 입증한다.
• 데이터 균형 조절과 더 많은 레이블 데이터 확보와 같은 보완 전략은 이익 비율의 표준편차를 크게 감소시키며 대부분의 하위집단에서 음수 성과 향상을 제거한다.