[논문 리뷰] Selective Classification Can Magnify Disparities Across Groups

Erik Jones, Shiori Sagawa외 3명|arXiv (Cornell University)|2020. 10. 27.

Machine Learning and Data Classification참고 문헌 61인용 수 5

한 줄 요약

이 논문은 선택적 분류(selective classification)—즉, 모델이 불확실할 경우 예측을 회피하는 방식—가 편향된 상관관계가 존재할 경우, 인구 집단 간 정확도 격차를 악화시킬 수 있음을 보여준다. 저자들은 선택적 분류가 이미 성능이 열악한 집단의 성능을 악화시키는 경향이 있음을 밝히며, 이러한 문제를 완화하기 위해 분포로 불변하는 모델 학습을 제안한다.

ABSTRACT

Selective classification, in which models can abstain on uncertain predictions, is a natural approach to improving accuracy in settings where errors are costly but abstentions are manageable. In this paper, we find that while selective classification can improve average accuracies, it can simultaneously magnify existing accuracy disparities between various groups within a population, especially in the presence of spurious correlations. We observe this behavior consistently across five vision and NLP datasets. Surprisingly, increasing abstentions can even decrease accuracies on some groups. To better understand this phenomenon, we study the margin distribution, which captures the model's confidences over all predictions. For symmetric margin distributions, we prove that whether selective classification monotonically improves or worsens accuracy is fully determined by the accuracy at full coverage (i.e., without any abstentions) and whether the distribution satisfies a property we call left-log-concavity. Our analysis also shows that selective classification tends to magnify full-coverage accuracy disparities. Motivated by our analysis, we train distributionally-robust models that achieve similar full-coverage accuracies across groups and show that selective classification uniformly improves each group on these models. Altogether, our results suggest that selective classification should be used with care and underscore the importance of training models to perform equally well across groups at full coverage.

연구 동기 및 목표

• 선택적 분류가 평균 정확도를 향상시키는 동안, 다양한 인구 집단 간 정확도 격차를 악화시킬 수 있는지 조사하기.
• 모델 신뢰도 점수의 마진 분포를 사용하여 이러한 격차의 근본 원인을 분석하기.
• 선택적 분류가 특정 집단에 대해 정확도를 단조롭게 향상시키거나 악화시키는 조건을 규명하기.
• 모든 집단에서 동일한 전체 커버리지 정확도를 달성하기 위해 분포로 불변 최적화(DRO)를 활용한 완화 전략을 제안하기.
• 전체 커버리지에서 격차를 해소하면, 선택적 분류가 집단 수준의 격차를 악화시키는 것을 방지할 수 있음을 입증하기.

제안 방법

• 모델의 정확한 예측과 잘못된 예측에 대한 신뢰도 점수 분포를 마진 분포로 정의하기.
• 선택적 분류가 집단의 정확도를 향상시키는지 악화시키는지 특징짓기 위해 좌측 로그-볼록성(left-log-concavity) 개념을 도입하기.
• 대칭적인 마진 분포에 대해, 선택적 분류 하에서 정확도 향상의 단조성은 전체 커버리지 정확도와 좌측 로그-볼록성에 의해 완전히 결정됨을 증명하기.
• 가우시안 혼합 마진 분포를 기반으로 한 시뮬레이션을 통해 집단 간 무관한 기준 대비 성능 평가하기.
• 전체 커버리지에서 최악의 집단 정확도를 최적화하는 분포로 불변한 모델(DRO)을 훈련한 후, 선택적 분류 적용하기.
• 다섯 개의 비전 및 NLP 데이터셋에서 표준 모델과 DRO 모델 간 선택적 분류 성능 비교하기.

실험 결과

연구 질문

• RQ1 선택적 분류는 모든 집단의 정확도를 균일하게 향상시키는가, 아니면 성능이 열악한 집단의 성능을 악화시킬 수 있는가?
• RQ2 선택적 분류가 특정 집단에 대해 정확도를 단조롭게 향상시키거나 악화시키는 조건은 무엇인가?
• RQ3 마진 분포의 형태—특히 좌측 로그-볼록성—은 선택적 분류가 집단 정확도에 미치는 영향에 어떻게 작용하는가?
• RQ4 모든 집단에서 유사한 전체 커버리지 정확도를 달성하도록 학습하면, 선택적 분류에 의해 유도된 격차를 완화시킬 수 있는가?
• RQ5 선택적 분류는 기존의 집단 간 정확도 격차를 어느 정도 악화시키는가?

주요 결과

• 선택적 분류는 전체 커버리지 정확도가 낮은 집단의 정확도를 악화시킬 수 있으며, 이는 기각 비율을 높여도 마찬가지다.
• CheXpert 데이터셋 변형에서, 유사 상관관계(예: 체스트 투브)를 고려해 훈련한 모델은 흉부 탈출이 있지만 지원 장치가 없는 환자에서는 실패한다—임상적으로 중요한 사례이다.
• 마진 분포가 좌측 로그-볼록성인 경우, 선택적 분류는 정확도를 단조롭게 향상시키지만, 그렇지 않은 경우 정확도가 악화될 수 있다.
• 대칭적인 마진 분포에 대해선, 정확도 향상의 단조성이 전체 커버리지 정확도와 좌측 로그-볼록성에 의해 완전히 결정된다.
• 선택적 분류는 전체 커버리지 시점에 존재하는 기존의 정확도 격차를 악화시키는 경향이 있다.
• 모든 집단에서 전체 커버리지 정확도를 균형 있게 만드는 분포로 불변 최적화(DRO)를 통해 훈련하면, 선택적 분류가 모든 집단의 정확도를 균일하게 향상시키며, 격차 확대를 제거한다.