[논문 리뷰] How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?

Zixiang Chen, Yuan Cao외 2명|arXiv (Cornell University)|2019. 11. 27.

Stochastic Gradient Optimization Techniques참고 문헌 65인용 수 29

한 줄 요약

이 논문은 깊이 있는 ReLU 신경망을 경사하강법으로 훈련시킬 때, 샘플 크기 $ n $ 과 역오차 $ \epsilon^{-1} $ 의 다항로그 함수로 증가하는 네트워크 폭(즉, 다항로그 과다매개변수화)이 충분함을 입증한다. 이는 전역 수렴과 일반화를 달성할 수 있음을 의미한다. 저자들은 NTRF 함수 클래스에서 선형 근사 오차 조건을 완화시켜, 이전의 최상위 성능 결과와 동일한 더 날카운 수렴 및 일반화 한계를 도출할 수 있도록 하였다.

ABSTRACT

A recent line of research on deep learning focuses on the extremely over-parameterized setting, and shows that when the network width is larger than a high degree polynomial of the training sample size $n$ and the inverse of the target error $ε^{-1}$, deep neural networks learned by (stochastic) gradient descent enjoy nice optimization and generalization guarantees. Very recently, it is shown that under certain margin assumptions on the training data, a polylogarithmic width condition suffices for two-layer ReLU networks to converge and generalize (Ji and Telgarsky, 2019). However, whether deep neural networks can be learned with such a mild over-parameterization is still an open question. In this work, we answer this question affirmatively and establish sharper learning guarantees for deep ReLU networks trained by (stochastic) gradient descent. In specific, under certain assumptions made in previous work, our optimization and generalization guarantees hold with network width polylogarithmic in $n$ and $ε^{-1}$. Our results push the study of over-parameterized deep neural networks towards more practical settings.

연구 동기 및 목표

• 최근 두 층 신경망에 대한 결과들과 유사하게, 깊이 있는 ReLU 신경망이 다항로그 과다매개변수화로 훈련될 수 있는지에 대한 열린 문제를 해결하기 위함.
• 이전 연구들보다 더 온건한 과다매개변수화 조건 하에서 깊이 있는 신경망의 일반화 및 최적화 보장을 향상시키기 위함.
• 근본적으로 근사가 매우 정밀해야 하는 조건이 아닌, 일정한 선형 근사 오차를 允허하는 방식으로 NTRF 함수 클래스 프레임워크를 깊이 있는 신경망으로 확장하기 위함.
• 깊이 있는 신경망 설정에서 GD와 SGD의 더 날카운 샘플 복잡도 한계를 확립하여, 두 층 신경망의 최고 성능 결과와 일치시키기 위함.
• 부분적으로 분리 가능한 데이터 상황으로 이론적 결과를 일반화하여, 잘 분리된 데이터의 상당한 비율이 존재할 경우, 최소한의 과다매개변수화로도 효율적인 학습이 가능함을 보여주기 위함.

제안 방법

• 네트워크 초기 가중치에서 유도된 랜덤 특징의 선형 조합으로 함수를 기술하는 NTRF(신경 탄성 랜덤 특징) 함수 클래스에 기반한 새로운 이론적 프레임워크를 제안한다.
• 초기화 시 네트워크와 그 선형화 간의 선형 근사 오차가 일정 수준 이하로 유지되도록 하는 완화된 조건을 도입하며, 높은 정확도의 근사가 필요하지 않음을 허용한다.
• 이러한 완화된 조건 하에서 경사하강법(GD)과 확률적 경사하강법(SGD)을 분석하여, 충분히 넓은 네트워크에서는 전역 수렴이 일어나고 훈련 오차가 0에 수렴함을 증명한다.
• 라데마처 복잡도를 사용하여 일반화 한계를 유도하며, 넓이 $ m $ 가 증가함에 따라 통계 오차가 감소함을 보여주며, 이는 $ m \in \widetilde{\Omega}(1) $ 이더라도 성립한다. 즉, 일반적으로 요구되던 $ m \gg n $ 조건이 필수적이지 않음을 시사한다.
• GD의 샘플 복잡도는 $ \widetilde{\mathcal{O}}(\epsilon^{-2}) $, SGD의 샘플 복잡도는 $ \widetilde{\mathcal{O}}(\epsilon^{-1}) $ 로 도출되었으며, 이는 이전의 깊이 있는 네트워크 결과보다 더 날카우며, 두 층 네트워크의 최고 성능 결과와 일치한다.
• 부분적으로 분리 가능한 데이터로의 분석을 확장하여, 데이터의 대부분이 잘 분리되어 있을 경우, 반경 $ R = \widetilde{\mathcal{O}}(1) $ 인 NTRF 함수 클래스가 $ \epsilon $-오차 일반화를 달성할 수 있음을 보였다.

실험 결과

연구 질문

• RQ1 최근 두 층 ReLU 신경망에 대한 결과들과 유사하게, 깊이 있는 ReLU 신경망이 다항로그 과다매개변수화로 훈련될 수 있는가?
• RQ2 높은 정확도 근사가 아닌 일정한 선형 근사 오차를 允허할 경우, 깊이 있는 신경망에서도 여전히 전역 수렴과 일반화가 가능할까?
• RQ3 더 온건한 넓이 요구 조건 하에서 GD와 SGD에 대해 더 날카운 일반화 및 수렴 한계를 도출할 수 있는가?
• RQ4 이론적 프레임워크는 부분적으로 분리 가능한 데이터로 어떻게 확장되며, $ \epsilon $-일반화를 달성하기 위해 필요한 넓이는 얼마인가?
• RQ5 깊이 있는 네트워크에서 GD와 SGD에 대해 유도된 샘플 복잡도 한계는 기존 결과보다 개선되었거나 동일한지, 특히 두 층의 경우에 대해 어떻게 되는가?

주요 결과

• 특히 $ m = \text{poly}(R) $ 인 다항로그 네트워크 폭—여기서 $ R $ 은 NTRF 함수 클래스의 반경—이 GD를 사용할 경우 깊이 있는 ReLU 신경망의 전역 수렴과 학습에 충분하다.
• 일반화 오차는 넓이 $ m \in \widetilde{\Omega}(1) $ 의 광범위한 범위에서 감소하며, 이는 이전의 NTK 기반 분석에서 일반적으로 요구되던 $ m \gg n $ 조건을 완화함을 의미한다.
• GD의 샘플 복잡도는 $ \widetilde{\mathcal{O}}(\epsilon^{-2}) $, SGD의 샘플 복잡도는 $ \widetilde{\mathcal{O}}(\epsilon^{-1}) $ 로 도출되었으며, 이는 이전의 결과보다 더 날카우며, 두 층 신경망의 최고 성능 결과와 일치한다.
• 이론적 보장은 네트워크와 그 선형화 간에 일정한 선형 근사 오차가 존재하는 경우에도 유지되며, 이는 이전 연구들에 비해 가정 조건을 상당히 완화시킨다.
• 훈련 데이터의 상당한 비율이 잘 분리되어 있을 경우, 반경 $ R = \widetilde{\mathcal{O}}(1) $ 인 NTRF 함수 클래스가 $ \epsilon $-일반화를 달성할 수 있으며, 이는 데이터 구조에 대한 강건성을 보여준다.
• 이중 CIFAR-10 서브셋에 대한 실험적 검증 결과, 훈련 오차가 0이 되기 위한 최소 네트워크 폭이 샘플 크기와 함께 다항로그적으로 증가하는 경향을 보였으며, 이는 이론적 예측과 일치한다.