[논문 리뷰] Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent

Surbhi Goel, Aravind Gollakota외 3명|arXiv (Cornell University)|2020. 06. 22.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 14

한 줄 요약

이 논문은 표준 정규 분포 하에서 경사하강법을 사용한 일층 신경망 학습을 위한 초다항(lower) 하한을 처음으로 확립한다. 구면 대칭 분포 하에서 정확히 직교하는 신경망의 가족을 구성함으로써, 저자들은 경사하강법과 통계적 질의 알고리즘이 낮은 테스트 오차를 달성하기 위해 초다항 시간이 필요하다는 것을 증명한다. 이는 ReLU 및 시그모이드 활성화 함수 조건에서도 성립하며, 이 설정에서 다항 시간 내에 효율적인 학습이 불가능함을 규명한다.

ABSTRACT

We prove the first superpolynomial lower bounds for learning one-layer neural networks with respect to the Gaussian distribution using gradient descent. We show that any classifier trained using gradient descent with respect to square-loss will fail to achieve small test error in polynomial time given access to samples labeled by a one-layer neural network. For classification, we give a stronger result, namely that any statistical query (SQ) algorithm (including gradient descent) will fail to achieve small test error in polynomial time. Prior work held only for gradient descent run with small batch sizes, required sharp activations, and applied to specific classes of queries. Our lower bounds hold for broad classes of activations including ReLU and sigmoid. The core of our result relies on a novel construction of a simple family of neural networks that are exactly orthogonal with respect to all spherically symmetric distributions.

연구 동기 및 목표

• 표준 정규 분포 하에서 경사하강법이 일층 신경망을 학습하는 데 소요되는 시간에 대한 조건부가 아닌 하한을 확립하기.
• 과다 매개변수화된 네트워크를 경사하강법으로 훈련시켜도 다항 시간 내에 효율적으로 일반화되지 않는다는 것을 보여주기.
• 이러한 결과를 통계적 질의(SQ) 모델으로 확장하여, 내적 질의를 사용하는 모든 SQ 알고리즘이 초다항 시간이 필요하다는 것을 보여주기.
• 구면 대칭 분포 하에서 정확히 직교하는 신경망의 가족을 구성함으로써 하한 구축을 가능하게 하기.
• 제곱 손실 또는 로지스틱 손실에 기반해 다항 크기의 네트워크를 경사하강법으로 훈련하는 표준 딥러닝 관행을 통한 효율적 학습이 이 설정에서 불가능함을 규명하기.

제안 방법

• 표준 정규 분포를 포함한 모든 구면 대칭 분포 하에서 정확히 직교하는 일층 신경망의 가족을 구성하며, 이는 ReLU 또는 시그모이드 활성화 함수를 사용한다.
• 이 직교성 특성을 활용해, 어떤 분류기라도 낮은 오차를 달성하기 위해 최소 $ n^{ ilde{ heta}( ext{poly}( ext{log}~m))} $개의 질의가 필요함을 보여주는 개념 클래스를 구축한다.
• 통계적 질의(SQ) 모델을 활용하여, 내적 질의에 의존하는 알고리즘(예: 경사하강법)이 초다항 시간이 필요하다는 것을 증명한다.
• 모수 손실의 경사를 통계적 질의의 정확도 $ au $로 근사시킬 수 있음을 증명함으로써, SQ 하한과 경사하강법 성능를 연결한다.
• SDA(통계적 질의 차원)와 내적 질의 복잡도 기반의 일반적인 SQ 하한 프레임워크를 적용하여 최종 하한을 유도한다.
• 회귀 및 분류 과제에서 모두 과다 매개변수화된 네트워크를 경사하강법으로 훈련한 실험을 수행하며, 낮은 훈련 오차에도 불구하고 높은 테스트 오차를 관찰한다.

실험 결과

연구 질문

• RQ1 표준 정규 분포 하에서 경사하강법은 ReLU 또는 시그모이드 활성화 함수를 가진 일층 신경망을 효율적으로 학습할 수 있는가?
• RQ2 네트워크가 과다 매개변수화되거나 NTK 영역에 있을 경우에도 경사하강법에 대해 초다항 하한이 유지되는가?
• RQ3 내적 질의를 사용하는 통계적 질의 알고리즘(예: 경사하강법 기반 알고리즘)은 이러한 네트워크를 다항 시간 내에 학습할 수 있는가?
• RQ4 최적화 히وري스틱과 무관하게, 데이터와 함수 클래스의 기하학적 성질로 인해 일층 네트워크 학습에 본질적인 제한이 존재하는가?
• RQ5 제곱 손실 또는 로지스틱 손실에 기반해 다항 크기의 네트워크를 경사하강법으로 훈련하는 표준 딥러닝 관행은 이 설정에서 효율적인 일반화를 실패하는가?

주요 결과

• 논문은 표준 정규 분포 하에서 내적 질의를 사용하는 모든 통계적 질의 알고리즘이 일층 ReLU 또는 시그모이드 네트워크를 학습하기 위해 $ n^{ ilde{ heta}( ext{poly}( ext{log}~m))} $개의 질의가 필요하다는 것을 증명한다.
• 분류 과제의 경우, $ m $개의 은닉 유닛을 가진 일층 네트워크를 $ rac{1}{2} - ilde{ heta}(m^{-b}) $의 이점으로 학습하기 위해 $ n^{ ilde{ heta}( ext{log}~m)} $개의 질의가 필요하며, 이는 다항 시간 내 학습이 불가능함을 의미한다.
• 이 하한은 조건부가 아니며, 분류기의 아키텍처에 의존하지 않고 오직 알고리즘(경사하강법 또는 SQ)에만 의존한다.
• 구면 대칭 분포 하에서 정확히 직교하는 함수의 가족을 구성하는 것은 하한을 증명하는 데 핵심적인 역할을 한다.
• 실험 결과는 이론을 뒷받침한다: 과다 매개변수화된 네트워크는 근사적으로 영인 훈련 오차를 달성하지만 높은 테스트 오차를 유지하며, 초다항 하한과 일관된다.
• 결과는 회귀(제곱 손실) 및 분류(소프트맥스 출력의 부호) 모두로 확장되며, 일반적인 훈련 관행이 효율적인 일반화를 실패함을 보여준다.