[논문 리뷰] The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks

Emmanuel Abbé, Enric Boix-Adserà외 1명|arXiv (Cornell University)|2022. 02. 17.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 평균장 근사에서 두 층의 ReLU 신경망에서 경사하강법(SGD)이 희소 함수를 효율적으로 학습할 수 있는 필수적이고 거의 충분한 조건으로 '합쳐진 계단 구조 성질(merged-staircase property)'을 도입한다. 비선형 학습이 필수적임을 입증하기 위해 차원에 의존하지 않는 동역학, 다항식 식별 테스트, 반집중 경계를 사용한다.

ABSTRACT

It is currently known how to characterize functions that neural networks can learn with SGD for two extremal parameterizations: neural networks in the linear regime, and neural networks with no structural constraints. However, for the main parametrization of interest (non-linear but regular networks) no tight characterization has yet been achieved, despite significant developments. We take a step in this direction by considering depth-2 neural networks trained by SGD in the mean-field regime. We consider functions on binary inputs that depend on a latent low-dimensional subspace (i.e., small number of coordinates). This regime is of interest since it is poorly understood how neural networks routinely tackle high-dimensional datasets and adapt to latent low-dimensional structure without suffering from the curse of dimensionality. Accordingly, we study SGD-learnability with $O(d)$ sample complexity in a large ambient dimension $d$. Our main results characterize a hierarchical property, the "merged-staircase property", that is both necessary and nearly sufficient for learning in this setting. We further show that non-linear training is necessary: for this class of functions, linear methods on any feature map (e.g., the NTK) are not capable of learning efficiently. The key tools are a new "dimension-free" dynamics approximation result that applies to functions defined on a latent space of low-dimension, a proof of global convergence based on polynomial identity testing, and an improvement of lower bounds against linear methods for non-almost orthogonal functions.

연구 동기 및 목표

• 비선형이고 정규화된 두 층 신경망에서 SGD가 어떤 희소 함수를 효율적으로 학습할 수 있는지 규명하는 것.
• NTK와 같은 선형 영역와 제약이 없는 네트워크 사이의 격차를 메우기 위해 평균장 근사에서 분석을 수행하는 것.
• 선형 방법(NTK 포함)이 최적의 특징 매핑을 사용하더라도 특정 희소 함수를 효율적으로 학습할 수 없음을 입증하는 것.
• 차원에 의존하지 않는 동역학과 다항식 근사 기반의 새로운 이론적 프레임워크를 개발하여 SGD 수렴성을 분석하는 것.

제안 방법

• '합쳐진 계단 구조 성질'—낮은 차원의 잠재 부분공간에서 함수의 푸리에 계수에 대한 계층적 구조—를 학습 가능성의 핵심 조건으로 제안한다.
• 차원에 의존하지 않는 동역학 근사법을 도입하여 고차원 설정에서의 SGD 분석을 단순화하고, 잠재적인 저차원적 구조에 집중한다.
• 합쳐진 계단 구조 조건 하에서 SGD의 전역 수렴을 증명하기 위해 다항식 식별 테스트를 활용한다.
• 특히 비거의 수직 함수에 대해선 선형 방법에 대한 하한을 확립하기 위해 다항식의 반집중 경계를 사용한다.
• 의미장 PDE 근사와 연속 시간 동역학에 대한 활성화 항의 변형을 고려하여 이산 시간 SGD를 분석한다.
• 상호작용 항이 없는 단순화된 동역학으로 학습 문제를 축소하여 다루기 쉬운 계수 재귀 관계를 도출한다.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 네트워크에서 평균장 근사에서 SGD가 효율적으로 학습할 수 있도록 보장하는 함수의 어떤 구조적 성질이 필요한가?
• RQ2 희소 함수를 학습하기 위해 비선형 학습이 본질적으로 필요한가, 아니면 선형 방법(예: NTK)이 동일한 샘플 복잡도를 달성할 수 있는가?
• RQ3 선형과 제약이 없는 극단 사이의 비선형이고 정규화된 네트워크 영역에서 SGD 학습 가능성의 날카로운 특성화를 달성할 수 있는가?
• RQ4 입력 함수의 잠재적인 저차원적 구조가 고차원 설정에서 SGD의 동역학과 수렴성에 어떤 영향을 미치는가?
• RQ5 다항식 근사와 정규수직 기저(예: 레지오드 다항식)는 학습 가능성과 하한을 증명하는 데 어떤 역할을 하는가?

주요 결과

• 합쳐진 계단 구조 성질은 두 층의 ReLU 네트워크에서 희소 함수의 강한 $O(d)$-SGD-학습 가능성에 대해 필수적이고 거의 충분한 조건이다.
• 비선형 학습은 엄밀히 필수적이다: NTK를 포함한 어떤 특징 매핑에서도 선형 방법이 합쳐진 계단 구조 성질을 만족하는 함수의 클래스를 효율적으로 학습할 수 없다.
• 차원에 의존하지 않는 동역학 근사가 확립되어, 환경 차원 $d$에 관계없이 낮은 차원의 잠재적 구조를 가진 함수에 대해 유효한 분석이 가능해졌다.
• 다항식 식별 테스트를 통해 SGD의 전역 수렴이 입증되었으며, 합쳐진 계단 구조 조건 하에서 다항식 시간 내에 네트워크가 목표 함수를 학습할 수 있음을 보였다.
• 다항식에 대한 반집중 경계가 향상되었고, 이는 비거의 수직 함수에 대해 선형 방법이 희소 영역에서 일반적으로 실패함을 보여주는 데 사용되었다.
• 논문은 기존의 계단 함수와 일반적인 합쳐진 계단 함수가 이산 및 연속 시간 영역 모두에서 강한 $O(d)$-SGD-학습 가능하다고 증명했다.