[논문 리뷰] Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures

Yuan Cao, Quanquan Gu외 1명|arXiv (Cornell University)|2021. 04. 28.

Machine Learning and Algorithms참고 문헌 26인용 수 10

한 줄 요약

이 논문은 서브가우시안 혼합 모델 하에서 오버파ram터화된 선형 분류의 최대 마진 분류기의 인구 위험 경계를 날카롭게 설정한다. 고유값, 평균 벡터의 노름, 표본 크기의 조건을 만족할 경우 유의미한 오버피팅이 발생함을 보이며, 위험은 $ n\|\bm{\mu}\|_2^4 $ 에 대해 지수적으로 감소한다. 이는 이전 연구를 향상시키며, $\bm{\Sigma}$ 의 스펙트럼 성질을 통합하고, 일치하는 하한을 증명한다.

ABSTRACT

Modern machine learning systems such as deep neural networks are often highly over-parameterized so that they can fit the noisy training data exactly, yet they can still achieve small test errors in practice. In this paper, we study this "benign overfitting" phenomenon of the maximum margin classifier for linear classification problems. Specifically, we consider data generated from sub-Gaussian mixtures, and provide a tight risk bound for the maximum margin linear classifier in the over-parameterized setting. Our results precisely characterize the condition under which benign overfitting can occur in linear classification problems, and improve on previous work. They also have direct implications for over-parameterized logistic regression.

연구 동기 및 목표

• 서브가우시안 혼합 데이터를 가진 오버파라미터화된 선형 분류에서 유의미한 오버피팅이 발생하는 조건을 규명하는 것.
• 데이터 공분산 행렬 $\bm{\Sigma}$ 의 고유값 스펙트럼을 명시적으로 고려한 최대 마진 분류기의 날카운 인구 위험 경계를 설정하는 것.
• Chatterji & Long (2020) 및 Wang & Thrampoulidis (2020)의 기존 경계를 개선하기 위해 표본 크기 $n$ 과 공분산 구조를 통합하는 것.
• 오버파라미터화된 영역에서 상한의 날카로움을 확인하기 위해 일치하는 하한을 증명하는 것.
• 특정 조건 하에서 최대 마진 분류기가 최소 노름 보간기와 동일함을 보이며, 보간 기반 분석을 활용할 수 있도록 하는 것.

제안 방법

• 서브가우시안 혼합 모델에서 클래스 평균 $\bm{\mu}$ 와 $-\bm{\mu}$, 공통 공분산 $\bm{\Sigma}$ 를 가진 최대 마진 분류기의 인구 위험 상한을 유도한다.
• 특정 조건 하에서 $\bm{\Sigma}$, $\bm{\mu}$, $n$ 에 대해 최대 마진 분류기와 최소 노름 보간기 간의 동치성을 확립한다.
• 이 동치성을 활용해 보간 이론의 도구를 빌려 $ \exp\left( -C' n\|\bm{\mu}\|_2^4 / (n\|\bm{\mu}\|_{\bm{\Sigma}}^2 + \sum_{k=1}^d k^{-2\alpha}) \right) $ 형태의 위험 경계를 도출한다. 여기서 $\lambda_k = k^{-\alpha}$ 는 $\bm{\Sigma}$ 의 고유값이다.
• 표본 크기 $n$, 차원 $d$, 지수 $α$ 의 다양한 스케일링 영역에서 위험 경계의 渐近적 행동을 분석한다.
• 두 가지 다른 설정에서 일치하는 하한을 증명하여 상한의 날카로움이 절대 상수 수준에서 확인됨을 확인한다.
• 실험을 통해 위험의 이론적 의존성, 즉 $\|\bm{\mu}\|_2$, $n$, $d$, $α$ 에 대한 검증을 수행하며, $α > 1/2$ 일 때는 차원 독립적 행동을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 공분산 행렬 $\bm{\Sigma}$ 의 고유값, 평균 벡터의 노름 $\|\bm{\mu}\|_2$, 표본 크기 $n$ 이 오버파라미터화된 선형 분류에서 유의미한 오버피팅이 발생하는 데 어떤 조건을 요구하는가?
• RQ2 데이터 공분산 행렬 $\bm{\Sigma}$ 의 스펙트럼이 최대 마진 분류기의 일반화 위험에 어떤 영향을 미치는가?
• RQ3 서브가우시안 혼합 모델에서 오버파라미터화된 영역에서 최대 마진 분류기가 최소 노름 보간기와 동일함을 보일 수 있는가?
• RQ4 제안된 위험 경계가 Chatterji & Long (2020) 및 Wang & Thrampoulidis (2020)의 기존 경계보다 더 날카롭게, 특히 표본 크기 의존성 측면에서 개선되었는가?
• RQ5 고유값이 느리게 감소할 때(즉, $\alpha > 1/2$) 위험은 차원 독립적 행동을 보이는가?

주요 결과

• 최대 마진 분류기의 인구 위험은 $ \exp\left( -C' n\|\bm{\mu}\|_2^4 / (n\|\bm{\mu}\|_{\bm{\Sigma}}^2 + \sum_{k=1}^d k^{-2\alpha}) \right) $ 로 경계되며, 이는 공분산 행렬 $\bm{\Sigma}$ 의 고유값 감쇠율 $\alpha$ 에 대해 명시적으로 의존한다.
• Chatterji & Long (2020) 의 결과를 향상시키며, 지수에 $n$ 의 요소를 포함함으로써 $ \exp(-\Omega(n\|\bm{\mu}\|_2^4/d)) $ 를 도출하여, 그들의 $ \exp(-\Omega(\|\bm{\mu}\|_2^4/d)) $ 보다 더 날카로운 경계를 제공한다.
• 저 SNR 영역에서, $ \|\bm{\mu}\|_2^4 = \omega(d/n) $ 이면 인구 위험이 $ o(1) $ 이 되며, 이는 Wang & Thrampoulidis (2020) 가 요구한 $ \|\bm{\mu}\|_2^4 = \omega((d/n)^{3/2}) $ 보다 개선된 결과이다.
• $\alpha > 1/2$ 일 경우, 인구 위험은 차원 독립적이며, 합 $\sum_{k=1}^d k^{-2\alpha}$ 가 유계이므로 위험은 오직 $n\|\bm{\mu}\|_2^4$ 에만 의존한다.
• 절대 상수 수준에서 상한과 일치하는 하한을 증명하여 유도된 위험 경계의 날카로움을 확인한다.
• 실험 결과, 표본 크기가 작고 $\alpha < 1/2$ 일 경우 위험은 $\|\bm{\mu}\|_2^2$ 에 대해 선형 감소를 보이며, $\alpha > 1/2$ 일 경우는 차원 독립적 행동을 보이며, 이는 이론적 예측과 일치한다.