[논문 리뷰] Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation

Ke Wang, Vidya Muthukumar외 1명|arXiv (Cornell University)|2021. 06. 21.

Machine Learning and Data Classification참고 문헌 69인용 수 13

한 줄 요약

이 논문은 고차원 다중분류 선형 분류에서, 교차 엔트로피 또는 최소제곱 손실을 사용한 경험적 리스크 최소화 및 one-vs-all SVM 모두가 충분한 오버파라미터화 조건 하에서 동일한 일반화 성능을 보이는 해를 해석 가능한 해로 수렴함을 규명한다. 또한 데이터가 가우시안 믹스처 모델 또는 다항 로지스틱 모델을 따를 경우, 이전의 이진 분류 결과를 다중 분류 상황으로 확장하여 엄밀한 비점근적 경계를 제공함으로써, 다중 분류 설정에서 보편적인 유해하지 않은 과적합(benign overfitting)이 발생함을 증명한다.

ABSTRACT

The literature on "benign overfitting" in overparameterized models has been mostly restricted to regression or binary classification; however, modern machine learning operates in the multiclass setting. Motivated by this discrepancy, we study benign overfitting in multiclass linear classification. Specifically, we consider the following training algorithms on separable data: (i) empirical risk minimization (ERM) with cross-entropy loss, which converges to the multiclass support vector machine (SVM) solution; (ii) ERM with least-squares loss, which converges to the min-norm interpolating (MNI) solution; and, (iii) the one-vs-all SVM classifier. First, we provide a simple sufficient deterministic condition under which all three algorithms lead to classifiers that interpolate the training data and have equal accuracy. When the data is generated from Gaussian mixtures or a multinomial logistic model, this condition holds under high enough effective overparameterization. We also show that this sufficient condition is satisfied under "neural collapse", a phenomenon that is observed in training deep neural networks. Second, we derive novel bounds on the accuracy of the MNI classifier, thereby showing that all three training algorithms lead to benign overfitting under sufficient overparameterization. Ultimately, our analysis shows that good generalization is possible for SVM solutions beyond the realm in which typical margin-based bounds apply.

연구 동기 및 목표

• 보편적인 이론적 이해의 격차를 메우기 위해 다중 분류에서의 보편적인 과적합 현상에 대해 기존의 회귀 및 이진 분류 연구 범위를 넘어서 이론적 분석을 수행하고자 한다.
• 다양한 학습 알고리즘—교차 엔트로피 손실을 사용한 경험적 리스크 최소화, 최소제곱 손실을 사용한 경험적 리스크 최소화, one-vs-all SVM—이 동일한 해석 가능한 해를 생성하는 조건을 규명하고자 한다.
• 가우시안 믹스처 모델(GMM)과 다항 로지스틱 모델(MLM) 하에서 다중 분류 설정에서 최소노름 해석 가능한(MNI) 분류기의 비점근적 일반화 경계를 유도하고자 한다.
• 기존의 마진 기반 일반화 경계가 고차원 다중 분류 환경에서는 성능 예측에 실패할 수 있음에도 불구하고, 해석 가능한 해를 통한 일반화 성능이 양호함을 보여주고자 한다.
• 기존 이진 분류에서 관찰된 제곱 손실과 교차 엔트로피 손실 간의 등가성 관계가 효과적인 오버파라미터화 조건 하에서 다중 분류 문제로도 확장됨을 보여주고자 한다.

제안 방법

• 다중 분류 SVM, 심플렉스 인코딩을 사용한 one-vs-all SVM, 최소노름 해석 가능한(MNI) 해가 동일하고 모든 학습 데이터 포인트를 해석할 수 있도록 보장하는 결정론적 충분 조건을 제안한다.
• 고차원 가우시안 믹스처 모델(GMM) 또는 다항 로지스틱 모델(MLM) 하에서 이 충분 조건이 높은 확률로 성립함을 기하학적 및 확률적 추론을 통해 보여준다.
• 유니온 바운드와 농도 불등식을 적용하여 one-vs-all(OvA) 및 one-vs-one(OvO) SVM 분류기의 분류 오차에 대해 고확률 경계를 도출한다.
• 대칭성과 고차원 농도 성질을 활용하여 마진 기반 일반화 이론과 연관지켜 MNI 해의 분류 오차에 비점근적 경계를 유도한다.
• 같은 오버파라미터화 조건 하에서 제곱 손실과 교차 엔트로피 손실이 동일한 해석 가능한 해와 동일한 일반화 성능을 보임을 보여주며, 손실 함수 간의 등가성을 입증한다.
• 고차원 확률론 및 랜덤 행렬 이론의 도구를 활용하여 차원 수와 표본 수가 증가함에 따라 분류기의 행동을 분석한다.

Figure 1: Contributions and organization.

실험 결과

연구 질문

• RQ1 다중 분류에서 경험적 리스크 최소화에 교차 엔트로피 손실, 최소제곱 손실, one-vs-all SVM을 적용했을 때, 어떤 조건에서 동일한 해석 가능한 해를 도출할 수 있는가?
• RQ2 이진 분류 범위를 초월하여 다중 분류 선형 분류에서 보편적인 과적합 현상이 엄밀하게 증명될 수 있는가?
• RQ3 고차원 다중 분류 설정에서는 기존의 마진 기반 일반화 경계가 성능을 예측하지 못할 수 있지만, 여전히 좋은 일반화 성능이 관찰되는가?
• RQ4 세 가지 학습 알고리즘이 모두 영점 학습 오차를 달성하고 양호한 테스트 정확도를 확보하는 데 필요한 비점근적 오버파라미터화 임계값이 존재하는가?
• RQ5 기존 이진 분류에서 관찰된 제곱 손실과 교차 엔트로피 손실 간의 등가성 관계가 동일한 오버파라미터화 조건 하에서 다중 분류 문제로도 확장되는가?

주요 결과

• 다중 분류 SVM, 심플렉스 인코딩을 사용한 one-vs-all SVM, 최소노름 해석 가능한(MNI) 해가 동일하고 모든 학습 데이터 포인트를 해석할 수 있도록 보장하는 결정론적 충분 조건이 도출되었다.
• 가우시안 믹스처 모델(GMM)과 다항 로지스틱 모델(MLM) 하에서, 차원 수 p가 n, k 및 클래스 평균의 노름을 포함한 비점근적 임계값을 초과할 경우, 이 충분 조건이 높은 확률로 성립한다.
• MNI 분류기의 분류 오차는 클래스 평균의 노름과 오버파라미터화 비율에 따라 지수 감소하는 항을 포함한 경계로 제한되며, 이는 마진 기반 경계가 실패하더라도 일반화가 가능함을 보여준다.
• 동일한 충분 조건 하에서 one-vs-all(OvA) SVM과 MNI 해는 동일하며, 이 동등성은 제시된 오버파라미터화 조건 하에서 확률 적어도 1 - c₁/n - c₂k exp(-n/(c₃k²))로 성립한다.
• one-vs-one(OvO) SVM 분류기 역시 유사한 오버파라미터화 조건 하에서 보편적인 과적합 현상을 보이며, 분류 오차는 단일 이진 분류기 오차의 (k-1)배로 제한되며, 클래스 평균의 노름이 증가함에 따라 오차가 지수적으로 감소한다.
• 논문은 교차 엔트로피 손실과 최소제곱 손실 간의 일반화 성능에 대한 등가성이 다중 분류 설정으로까지 확장됨을 규명하였으며, 충분한 오버파라미터화 조건 하에서 두 손실 모두 동일한 해석 가능한 해와 동일한 일반화 성능을 도출함을 보였다.

Figure 2: Inner products $\mathbf{W}_{\text{SVM}}\mathbf{x}_{c}\in\mathbb{R}^{4}$ for features $\mathbf{x}_{i}$ that each belongs to the $c$ -th class for $c\in[k]$ and $k=4$ total classes. The red lines correspond to the values $(k-1)/k=3/4$ and $-1/k=-1/4$ of the simplex encoding described in Theo