[논문 리뷰] Undersampling is a Minimax Optimal Robustness Intervention in Nonparametric Classification

Niladri S. Chatterji, Saminul Haque외 1명|arXiv (Cornell University)|2022. 05. 26.

Face and Expression Recognition인용 수 7

한 줄 요약

이 논문은 레이블 이탈과 그룹-입력 특성 이탈 하에서 비모수적 이元 분류에서 오버샘플링이 최소최대 최적임을 입증하며, 모델 성능이 소수 집단의 샘플 수에 의해 본질적으로 제한됨을 보여준다. 어떤 알고리즘도 높은 분포 겹침 또는 추가적인 구조적 가정이 없이 오버샘플링을 초월할 수 없으며, 이론적 하한선이 이 제약이 소수 집단의 자료 부족에 기인한 본질적 한계임을 확인한다.

ABSTRACT

While a broad range of techniques have been proposed to tackle distribution shift, the simple baseline of training on an $ extit{undersampled}$ balanced dataset often achieves close to state-of-the-art-accuracy across several popular benchmarks. This is rather surprising, since undersampling algorithms discard excess majority group data. To understand this phenomenon, we ask if learning is fundamentally constrained by a lack of minority group samples. We prove that this is indeed the case in the setting of nonparametric binary classification. Our results show that in the worst case, an algorithm cannot outperform undersampling unless there is a high degree of overlap between the train and test distributions (which is unlikely to be the case in real-world datasets), or if the algorithm leverages additional structure about the distribution shift. In particular, in the case of label shift we show that there is always an undersampling algorithm that is minimax optimal. In the case of group-covariate shift we show that there is an undersampling algorithm that is minimax optimal when the overlap between the group distributions is small. We also perform an experimental case study on a label shift dataset and find that in line with our theory, the test accuracy of robust neural network classifiers is constrained by the number of minority samples.

연구 동기 및 목표

• 오버샘플링이 데이터를 기각함에도 불구하고 분포 이탈 환경에서 상태의 최고 수준의 강건성을 달성하는 이유를 탐구하기 위해.
• 강건한 학습 알고리즘의 성능이 분포 이탈 환경에서 소수 집단 샘플 수에 의해 본질적으로 제한되는지 확인하기 위해.
• 레이블 이탈과 그룹-입력 특성 이탈 하에서 비모수적 이원 분류에서 오버샘플링의 최소최대 최적성을 확립하기 위해.
• 소수 집단 샘플 수 $n_{\mathsf{min}}$에만 의존하는 최소최대 초과 위험의 이론적 하한선을 유도하기 위해.
• 레이블 이탈 데이터셋에서 이론을 실험적으로 검증하여 테스트 정확도가 소수 집단 샘플 수에 의해 제한됨을 보여주기 위해.

제안 방법

• 레이블 이탈과 그룹-입력 특성 이탈 하에서 리프시츠 연속 밀도를 가진 비모수적 이원 분류를 분석한다.
• 소수 집단 샘플 수 $n_{\mathsf{min}}$에만 의존하는 초과 위험의 최소최대 하한선을 도출하여 성능의 본질적 한계를 보여준다.
• 학습 및 테스트 분포 간의 겹침이 낮을 때 오버샘플링이 레이블 이탈에서 최소최대 최적임을 증명한다.
• VC 차원 기반 분석을 통해 임의의 가측 가능 분류기의 위험을 근사하며, 마사르트 노이즈 마진 $h$와 분포 복잡도 $V$를 통합한다.
• 클래스 불균형이 있는 수정된 CIFAR10 데이터셋에서 오버샘플된 모델을 실험적으로 평가하며, VS 손실, 기울인 손실, Group-DRO와 비교한다.
• SGD로 800 에포크 동안 훈련된 ResNet-50 아키텍처를 사용하며, 하이퍼파ram터는 이전 연구에서 유도된 바를 활용한다.

실험 결과

연구 질문

• RQ1 강건한 학습 알고리즘의 성능은 분포 이탈 환경에서 소수 집단 샘플 수에 의해 본질적으로 제한되는가?
• RQ2 레이블 이탈 하에서 추가적인 구조적 가정 없이도 오버샘플링을 초월할 수 있는 알고리즘이 존재하는가?
• RQ3 비모수적 분류에서 오버샘플링이 어떤 조건에서 최소최대 최적인가?
• RQ4 분포 이탈 존재 하에서 소수 집단 샘플 수 $n_{\mathsf{min}}$에 따라 최소최대 초과 위험은 어떻게 스케일링되는가?
• RQ5 기준 데이터셋에서의 경험적 성능은 최소최대 분석에서 도출된 이론적 한계를 어느 정도 반영하는가?

주요 결과

• 레이블 이탈에서 최소최대 초과 위험은 $1/n_{\mathsf{min}}^{1/2}$ 비례하는 항으로 하한이 둔다. 이는 성능이 소수 집단 샘플 수에 의해 본질적으로 제한됨을 입증한다.
• 학습 및 테스트 분포 간 겹침이 낮을 때 오버샘플링은 레이블 이탈에서 최소최대 최적이다. 즉, 다른 알고리즘이 더 나은 최악의 성능을 달성할 수 없다.
• 그룹-입력 특성 이탈 상황에서는 그룹 분포 간 겹침이 작을 때 오버샘플링이 최소최대 최적이다. 이는 구조적 가정 하에서의 강건성을 시사한다.
• CelebA 데이터셋에서 오버샘플링은 85.6%의 최악 그룹 정확도를 기록했으며, 최고 성능 방법(gDRO)과 1.3%p 이내로 수렴했고, 훈련 데이터의 97%를 기각했음에도 불구하고.
• MultiNLI 데이터셋에서 오버샘플링은 68.9%의 최악 그룹 정확도를 기록했으며, 최고 성능 방법(gDRO)의 78.0%에 비해 약간 낮았지만 여전히 9.1%p 이내로 수렴했다.
• 실험 결과는 강건한 신경망의 최악 그룹 정확도가 소수 집단 샘플 수에 의해 제한됨을 확인하며, 이론적 하한선의 타당성을 검증한다.