[논문 리뷰] Limitations of Lazy Training of Two-layers Neural Networks

Behrooz Ghorbani, Mei Song외 2명|arXiv (Cornell University)|2019. 06. 21.

Neural Networks and Applications참고 문헌 28인용 수 11

한 줄 요약

이 논문은 이중층 ReLU 신경망에서 이차 활성함수를 사용할 때 레이지 트레이닝의 한계를 조사한다. 랜덤 피처(RF), 네ural 텐저(NT), 그리고 완전 학습된(NN) 세 가지 영역을 비교한다. 수많은 뉴런 수가 입력 차원보다 작을 경우, 간단한 이차 함수조차도 RF 및 NT 영역에서 완전 학습 영역보다 일반화 리스크가 무한히 악화될 수 있음을 증명한다. 이는 저과도약 상태에서 레이지 학습 성능에 근본적인 격차가 있음을 시사한다.

ABSTRACT

We study the supervised learning problem under either of the following two models: (1) Feature vectors ${\boldsymbol x}_i$ are $d$-dimensional Gaussians and responses are $y_i = f_*({\boldsymbol x}_i)$ for $f_*$ an unknown quadratic function; (2) Feature vectors ${\boldsymbol x}_i$ are distributed as a mixture of two $d$-dimensional centered Gaussians, and $y_i$'s are the corresponding class labels. We use two-layers neural networks with quadratic activations, and compare three different learning regimes: the random features (RF) regime in which we only train the second-layer weights; the neural tangent (NT) regime in which we train a linearization of the neural network around its initialization; the fully trained neural network (NN) regime in which we train all the weights in the network. We prove that, even for the simple quadratic model of point (1), there is a potentially unbounded gap between the prediction risk achieved in these three training regimes, when the number of neurons is smaller than the ambient dimension. When the number of neurons is larger than the number of dimensions, the problem is significantly easier and both NT and NN learning achieve zero risk.

연구 동기 및 목표

• 이중층 신경망의 일반화 성능을 랜덤 피처(RF), 신경장점(NT), 완전 학습(NN) 세 가지 트레이닝 영역에서 분석하기.
• 레이지 트레이닝(NT)과 랜덤 피처(RF)가 저과도약 상태에서 완전한 네트워크 학습이 필요한 함수를 얼마나 효율적으로 근사할 수 있는지 조사하기.
• 특히 단순한 목표 함수, 예를 들어 이차형태 함수일 경우, NT 및 RF 영역이 최적 리스크를 달성하지 못하는 조건을 규명하기.
• 세 영역 간의 예측 리스크 격차에 대한 이론적 상한을 설정하기. 특히 뉴런 수가 입력 차원보다 작을 경우에 중점을 두기.

제안 방법

• 두 가지 지도학습 문제를 분석함: (1) 가우시안 특징과 이차 목표 함수를 사용한 회귀, (2) 혼합 가우시안 특징과 클래스 레이블을 사용한 이진 분류.
• 세 가지 트레이닝 영역을 비교함: RF(두 번째 레이어 가중치만 학습), NT(초기화 주변에서 선형화된 모델), NN(모든 가중치 학습), 이차 활성함수를 사용.
• 기능 해석과 행렬 최적화를 통해 각 영역의 예측 리스크에 대한 정확한 표현을 유도함. 특히 코어널 행렬의 프로베니우스 노름과 트레이스에 중점을 둠.
• 목표 함수의 헤시안과 데이터 공분산의 고유분해를 활용해 최적의 네트워크 가중치를 특성화하고 리스크를 최소화함.
• 카우시-슈바르츠 부등식을 적용해 NN 영역의 리스크를 상한선으로 제시하고, 최적 해를 목표 행렬의 상위 r 개의 특이값 하위공간에 투영한 것으로 유도함.
• 완전 학습 영역에서 최적 리스크는 목표 행렬 Δ의 가장 큰 r 개의 특이값의 제곱합에 의해 결정됨을 증명함.

실험 결과

연구 질문

• RQ1 간단한 이차 목표 함수에 대해 랜덤 피처(RF) 및 신경장점(NT) 영역이 완전 학습 영역(NN)과 동일한 일반화 리스크를 달성할 수 있는가?
• RQ2 뉴런 수가 입력 차원보다 작을 경우, RF, NT, NN 영역 간의 예측 리스크 격차는 무엇인가?
• RQ3 레이지 트레이닝이 완전 학습된 이중층 네트워크의 표현 능력을 포착하지 못하는 조건는 무엇인가?
• RQ4 뉴런 수와 입력 차원 간의 관계가 세 트레이닝 영역의 리스크에 어떻게 영향을 미치는가?
• RQ5 이중층 ReLU 신경망에서 이차 활성함수를 사용할 경우, 레이지 트레이닝과 완전 학습 간에 증명 가능한, 심지어 무한대에 이르는 성능 격차가 존재하는가?

주요 결과

• 뉴런 수가 입력 차원보다 작을 경우, RF 및 NT 영역의 예측 리스크는 간단한 이차 목표 함수일지라도 완전 학습 영역(NN)보다 무한히 악화될 수 있음.
• 동일한 이차 목표 함수에 대해, 뉴런 수가 입력 차원보다 작을 경우 NT 영역의 리스크는 0에서 벗어나 있는 반면, 뉴런 수가 차원을 초과하면 NN 영역은 리스크를 0으로 줄일 수 있음.
• 뉴런 수가 입력 차원을 초과할 경우, NT 및 NN 영역 모두 예측 리스크를 0으로 줄일 수 있어, 과도약 상태에서 레이지 트레이닝과 완전 학습 간 격차가 사라짐.
• 완전 학습 영역에서 최적 리스크는 목표 행렬 Δ의 r 개의 가장 큰 특이값의 제곱합에 의해 결정되며, 여기서 r은 뉴런 수와 입력 차원의 최소값임.
• 뉴런 수가 적을 경우, RF 및 NT 영역는 선형화된 성격과 고정된 첫 번째 레이어 가중치로 인해 이차 함수를 표현하는 데 본질적으로 제한됨.
• 논문은 완전 학습과 레이지 트레이닝 간의 표현 능력에 이론적 분리를 확립하여, 레이지 학습이 항상 완전 학습 네트워크가 쉽게 표현할 수 있는 함수를 효율적으로 근사하지 못함을 보여줌.