[논문 리뷰] The role of regularization in classification of high-dimensional noisy Gaussian mixture

Francesca Mignacco, Florent Krząkała외 2명|arXiv (Cornell University)|2020. 02. 26.

Advanced Scientific Research Methods인용 수 32

한 줄 요약

이 논문은 시끄러운 조건에서 고차원 이변량 가우시안 혼합에 대해 규제된 볼록 분류기(릿지, 힌지, 로지스틱)에 대한 엄밀한 점근 분석을 제시하며 일반화 및 학습 오차에 대한 고정점 공식들을 도출하고 Bayes-최적성과의 비교를 수행한다.

ABSTRACT

We consider a high-dimensional mixture of two Gaussians in the noisy regime where even an oracle knowing the centers of the clusters misclassifies a small but finite fraction of the points. We provide a rigorous analysis of the generalization error of regularized convex classifiers, including ridge, hinge and logistic regression, in the high-dimensional limit where the number $n$ of samples and their dimension $d$ go to infinity while their ratio is fixed to $\\alpha= n/d$. We discuss surprising effects of the regularization that in some cases allows to reach the Bayes-optimal performances. We also illustrate the interpolation peak at low regularization, and analyze the role of the respective sizes of the two clusters.

연구 동기 및 목표

• 노이즈가 있는 가우시안 혼합에서 중앙값이 알려지지 않은 상태의 고차원 분류 연구 동기를 제시한다.
• 릿지, 힌지, 로지스틱 손실 하에서 일반화 및 학습 오차에 대한 엄밀한 점근식들을 도출한다.
• 규제 강도와 클러스터 크기가 Bayes-최적성과의 근접성에 어떤 영향을 주는지 분석한다.
• 고차원 극한에서 학습 손실 지형 및 분리 가능성 전이를 특징화한다.

제안 방법

• 데이터를 중심점이 있는 두 클러스터 가우시안 혼합으로 모델링하고 볼록 손실 함수로 규제된 경험적 위험 최소화를 연구한다.
• Gordon’s minimax 불평등을 사용하여 고차원 최적화를 다루기 쉬운 보조 문제로 변환한다.
• 일치도 m, 길이 q, 보조 변수 (gamma, ;hat m, ;hat q, ;hat gamma) 등에 대한 고정점 방정식을 도출하여 일반화/학습 양을 결정한다.
• Q-함수를 통한 일반화 오차의 명시적 표현과 d → 무한대 극한에서의 학습 손실을 제공한다.
• Bayes-최적 추정기와 특정 구간에서 Bayes-최적 성능을 달성할 수 있는 Hebb와 유사한 플러그인 추정기를 분석한다.
• 복제 이론과 AMP의 상태 진화 해석을 통해 해석을 논의한다.

실험 결과

연구 질문

• RQ1 노이즈 하에서 고차원 가우시안 혼합 분류에서 규제화(릿지, 힌지, 로지스틱)가 일반화 오차에 어떤 영향을 주는가?
• RQ2 고차원 극한에서 진짜 중심점과 분류기의 노름 간의 일치도에 대한 고정점 관계는 무엇인가?
• RQ3 규제된 경험적 위험 최소화가 Bayes-최적 성능에 도달할 수 있는 정도와 조건은 무엇인가?
• RQ4 클러스터 크기 비대칭성(rho != 0.5)이 분리 가능성, 보간 행동, 최적 규제에 어떤 영향을 주는가?
• RQ5 고차원에서 학습 손실 지형의 구조는 어떠하며 분리 가능성의 위상 전이와 어떤 관련이 있는가?

주요 결과

• 고차원 극한에서 규제 하에 모든 볼록 손실에 대해 일반화 및 학습 오차에 대한 엄밀한 닫힌 형식의 점근 공식이 얻어진다.
• 일반화 오차는 m, q, gamma, b를 포함하는 고정점 시스템으로 주어지며, m과 q는 hat_m, hat_q, lambda, hat_gamma로 표현된다.
• Bayes-최적 성능은 특정 플러그인 추정기(예: Hebb-유사 가중치)로 일부 구간에서 도달할 수 있으며, 규제된 ERM이 항상 그것을 달성하지는 않는다.
• 규제는 성능을 향상시킬 수 있으며 대칭적 경우에는 lambda가 증가할 때 Bayes-최적 성능을 얻을 수 있지만 비대칭인 경우 최적의 lambda는 여전히 유한하게 남는다.
• 선형적으로 구분 가능한 데이터의 경우 힌지와 로지스틱 손실은 규제가 소실될 때 동일한 테스트 오차로 수렴하여 암시적 규제화 및 이중 하강 현상과의 연결을 보여준다.
• 분리 가능성에 대한 위상 전이 경계가 도출되며 alpha*는 클러스터 분산과 rho에 따라 달라진다; 이 임계값 아래에서 데이터는 완전히 구분 가능하고 MLE는 존재하지 않을 수 있다.
• 적당한 차원의 수(d=1000 등)에서의 수치 시뮬레이션이 이론적 예측을 확인한다.