[논문 리뷰] Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed

Maria Refinetti, Sebastian Goldt외 2명|arXiv (Cornell University)|2021. 02. 23.

Neural Networks and Applications참고 문헌 64인용 수 29

한 줄 요약

두 층 신경망이 몇 개의 은닉 뉴런만으로도 고차원 가우시안 혼합 작업에서 커널/랜덤 피처 학습을 능가할 수 있으며, D→∞ 한계에서 학습 역학의 닫힌 형식의 ODE 분석을 제공한다.

ABSTRACT

A recent series of theoretical works showed that the dynamics of neural networks with a certain initialisation are well-captured by kernel methods. Concurrent empirical work demonstrated that kernel methods can come close to the performance of neural networks on some image classification tasks. These results raise the question of whether neural networks only learn successfully if kernels also learn successfully, despite neural networks being more expressive. Here, we show theoretically that two-layer neural networks (2LNN) with only a few hidden neurons can beat the performance of kernel learning on a simple Gaussian mixture classification task. We study the high-dimensional limit where the number of samples is linearly proportional to the input dimension, and show that while small 2LNN achieve near-optimal performance on this task, lazy training approaches such as random features and kernel methods do not. Our analysis is based on the derivation of a closed set of equations that track the learning dynamics of the 2LNN and thus allow to extract the asymptotic performance of the network as a function of signal-to-noise ratio and other hyperparameters. We finally illustrate how over-parametrising the neural network leads to faster convergence, but does not improve its final performance.

연구 동기 및 목표

• 고차원 가우시안 혼합에서 신경망이 언제 커널 방법을 능가할 수 있는지 동기를 부여하고 정량화한다.
• 고차원 한계에서 온라인 SGD 학습을 포착하는 다루기 쉬운 동역학 시스템(ODE) 프레임워크를 개발한다.
• 같은 영역에서 신경망과 랜덤 피처/커널을 비교하고 성능 스케일링 법칙을 식별한다.
• 과도 매개화가 수렴 속도와 최종 정확도에 미치는 영향을 조사한다.

제안 방법

• 온라인 SGD 동안 2층 신경망(K=은닉 유닛)의 순서 매개변수(M, Q) 및 2층 가중치 v의 진화를 추적하는 폐쇄 집합의 ODE를 도출한다.
• 학습 역학을 고차원 극한(D→∞)으로 축소하고 N∝D로 설정하여 PMSE 및 분류 오차의 해석적 특성을 가능하게 한다.
• 입력이 라벨에 조건부인 가우시안 혼합을 분석하고 ODE의 고정점에서 비대칭적 성능을 해석적으로 구한다.
• 고정된 무작위 매트릭스로 입력을 P 특징으로 투사하고 선형 판독을 학습시켜 무작위 특징(RF) 성능을 특징 공분산의 고유 분해를 사용해 고차원 극한에서 도출한다.
• 커널/랜덤 피처 한계(γ = P/D → ∞)를 2LNN 성능과 비교하고 성능이 신호 대 잡음비 및 하이퍼파라미터에 따라 어떻게 스케일링하는지 분석한다.
• 과도 매개화가 수렴 확률과 최종 오차에 미치는 영향을 검토한다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 혼합에서 작은 두 층 신경망이 커널 기반 학습을 능가할 수 있는가?
• RQ2 D→∞, N∝D 영역에서 온라인 SGD로 학습된 2LNN의 비대칭적 학습 역학은 어떤가?
• RQ3 고차원 극한에서 같은 가우시안 혼합 작업에 대해 랜덤 피처와 커널 방법이 2LNN에 비해 어떤 성능을 보이는가?
• RQ4 이 설정에서 과도 매개화가 수렴 속도와 최종 일반화에 어떤 영향을 주는가?

주요 결과

• 은닉 뉴런이 몇 개인지에 불과한 2층 신경망이 XOR 스타일의 가우시안 혼합에서 거의 오라클 수준의 성능을 달성하는 반면, 커널/랜덤 피처 방법은 그 성능에 근접하기 위해 훨씬 더 높은 SNR이 필요하다.
• 고차원 한계에서 2LNN의 역학은 폐쇄된 ODE 집합으로 포착될 수 있어 장기적인 성능을 해석적으로 예측할 수 있다.
• 랜덤 피처와 커널 방법은 초고차원에서 표본 수가 신호-잡음비보다 초과 선형적으로 증가하지 않는 한 무작위 추정에 비해 더 나은 성능을 내지 못한다(N=O(D^2) 정도의 스케일링 필요).
• 과도 매개화는 거의 최적 해에 수렴할 확률을 높이고 학습을 가속하지만 수렴하더라도 최종 오차를 개선하지는 않는다.
• 무작위 피처의 경우 고유구조가 무작위 피처 공분산의 고유구조에 의존하며, 대규모 P 한계(커널 한계)에서 성능은 회복되지만 큰 γ와 N이 필요하다.
• 해석은 게으른 학습(Lazy training) 구간(kernel/RF)이 고차원에서 혼합을 실질적으로 선형 변환에 매핑해 중심이 가까울 때 비분리성을 보존한다는 것을 시사한다.