[논문 리뷰] Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization

Benjamin Aubin, Florent Krząkała외 2명|arXiv (Cornell University)|2020. 06. 11.

Neural Networks and Applications인용 수 27

한 줄 요약

이 논문은 고차원 선형 분류에서 $\ell_2$-정규화된 볼록 분류기의 일반화 오차에 대한 정밀한 공식을 유도하며, 표본 대 특징 비율 $\alpha = n/d \to \infty$일 때 로지스틱 및 허지 회귀가 베이즈 최적 성능에 거의 도달할 수 있음을 보여준다. 또한 통계역학과 상태 진화 기반의 변분 접근법을 통해 베이즈 최적 오차율을 증명적으로 달성하는 최적의 비볼록 손실과 정규화를 설계한다.

ABSTRACT

We consider a commonly studied supervised classification of a synthetic dataset whose labels are generated by feeding a one-layer neural network with random iid inputs. We study the generalization performances of standard classifiers in the high-dimensional regime where $α=n/d$ is kept finite in the limit of a high dimension $d$ and number of samples $n$. Our contribution is three-fold: First, we prove a formula for the generalization error achieved by $\ell_2$ regularized classifiers that minimize a convex loss. This formula was first obtained by the heuristic replica method of statistical physics. Secondly, focussing on commonly used loss functions and optimizing the $\ell_2$ regularization strength, we observe that while ridge regression performance is poor, logistic and hinge regression are surprisingly able to approach the Bayes-optimal generalization error extremely closely. As $α o \infty$ they lead to Bayes-optimal rates, a fact that does not follow from predictions of margin-based generalization error bounds. Third, we design an optimal loss and regularizer that provably leads to Bayes-optimal generalization error.

연구 동기 및 목표

• 고차원 극한($n/d = \alpha$는 유한, $d \to \infty$)에서 $\ell_2$-정규화된 볼록 분류기의 일반화 오차에 대한 엄밀한 공식 유도.
• 표준 볼록 손실(로지스틱, 허지, 제곱)이 $\ell_2$ 정규화 하에서의 성능 평가 및 베이즈 최적 오차율과의 비교.
• 이 고차원 퍼셉트론 모델에서 베이즈 최적 일반화 오차를 증명적으로 달성하는 최적의 손실과 정규화를 설계.
• 마진 기반 일반화 경계가 이 설정에서 로지스틱 및 허지 회귀의 거의 최적 성능을 예측하지 못함을 보여줌.

제안 방법

• 통계역학의 복제 방법을 사용하여 고차원 극한에서 일반화 오차에 대한 닫힌 형태의 표현식을 유도.
• 근사 메시지 전달(GAMP) 알고리즘의 상태 진화를 적용하여 추정기의 점근적 행동과 사후 분산을 특성화.
• Moreau-Yosida 정규화와 사후 정밀도의 역행렬을 포함하는 변분 공식을 통해 최적의 손실과 정규화를 유도.
• 고차원에서의 측도 집중 현상을 기반으로 분산 $q_b$와 $\hat{q}_b$에 대한 결정론적 고정점 방정식의 사용를 정당화.
• Moreau-Yosida 항등식을 활용하여 정규화 항을 역행렬화하고 사후 분할 함수로부터 최적의 정규화 $r^{\rm opt}$를 구성.
• 유한차원 사례($d = 10^3$)에서 L-BFGS-B 최적화를 사용하여 이론 예측을 수치적으로 검증하며, 이론과 거의 완벽한 일치를 보임.

실험 결과

연구 질문

• RQ1 고차원 선형 분류에서 $\ell_2$-정규화된 볼록 분류기의 일반화 오차에 대해 엄밀한 공식을 도출할 수 있는가?
• RQ2 로지스틱 및 허지 회귀가 표준 마진 기반 일반화 경계를 만족하지 못함에도 불구하고 왜 거의 베이즈 최적 성능을 달성하는가?
• RQ3 이 설정에서 베이즈 최적 일반화 오차를 증명적으로 달성하는 최적의 손실과 정규화는 무엇인가?
• RQ4 표준 볼록 손실의 성능은 $\alpha \to \infty$일 때 베이즈 최적 비율과 어떻게 비교되는가?

주요 결과

• $\ell_2$-정규화된 볼록 분류기의 일반화 오차는 복제 방법을 통해 유도된 공식으로 정확히 특성화되며, 상태 진화를 통해 확인된다.
• 로지스틱 및 허지 회귀는 $\alpha \to \infty$일 때 일반화 오차가 베이즈 최적 비율에 임의로 가까이 접근함을 보이며, 마진 기반 경계에 의해 제한됨에도 불구하고 성능이 뛰어나다.
• 리지 회귀는 성능이 열악하여 손실 함수의 선택이 거의 최적 성능를 달성하는 데 핵심적임을 시사한다.
• 사후 분할 함수와 Moreau-Yosida 역행렬을 사용하여 최적의 손실 $l^{\rm opt}$와 정규화 $r^{\rm opt}$를 명시적으로 구성하였으며, 이는 베이즈 최적성을 증명적으로 달성한다.
• $d = 10^3$에서의 수치 시뮬레이션은 최적의 손실과 정규화를 사용한 ERM이 베이즈 최적 오차율과 거의 일치함을 보이며, 오차 막대가 극히 미미함을 확인한다.
• 최적의 손실 $l^{\rm opt}$는 비볼록이지만 약간의 볼록성처럼 보이며, 이는 이 설정에서 비볼록성도 최적 성능에 도달하는 것을 방해하지 않음을 시사한다.