[논문 리뷰] Gradient Descent for One-Hidden-Layer Neural Networks: Polynomial Convergence and SQ Lower Bounds

Santosh Vempala, John Wilmes|arXiv (Cornell University)|2018. 05. 07.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 ReLU 또는 시그모이드 활성화를 갖는 한 층의 신경망을 훈련하는 데 있어 경사하강법의 다항 시간 수렴 보장을 수립한다. 이는 $n^{O(k)}\log(1/\varepsilon)$ 개의 유닛과 반복 횟수를 사용해 최적의 차수-$k$ 다항식 근사에 오차 $\varepsilon_0 + \varepsilon$ 내에서 수렴함을 보여준다. 또한 거의 정확한 통계적 질의(SQ) 하한을 증명하여, 어떤 SQ 알고리즘도 이 복잡도를 크게 뛰어넘을 수 없음을 보이며, 이는 이 아그노스틱 학습 설정에서 GD의 최적성을 입증한다.

ABSTRACT

We study the complexity of training neural network models with one hidden nonlinear activation layer and an output weighted sum layer. We analyze Gradient Descent applied to learning a bounded target function on $n$ real-valued inputs. We give an agnostic learning guarantee for GD: starting from a randomly initialized network, it converges in mean squared loss to the minimum error (in $2$-norm) of the best approximation of the target function using a polynomial of degree at most $k$. Moreover, for any $k$, the size of the network and number of iterations needed are both bounded by $n^{O(k)}\log(1/ε)$. In particular, this applies to training networks of unbiased sigmoids and ReLUs. We also rigorously explain the empirical finding that gradient descent discovers lower frequency Fourier components before higher frequency components. We complement this result with nearly matching lower bounds in the Statistical Query model. GD fits well in the SQ framework since each training step is determined by an expectation over the input distribution. We show that any SQ algorithm that achieves significant improvement over a constant function with queries of tolerance some inverse polynomial in the input dimensionality $n$ must use $n^{Ω(k)}$ queries even when the target functions are restricted to a set of $n^{O(k)}$ degree-$k$ polynomials, and the input distribution is uniform over the unit sphere; for this class the information-theoretic lower bound is only $Θ(k \log n)$. Our approach for both parts is based on spherical harmonics. We view gradient descent as an operator on the space of functions, and study its dynamics. An essential tool is the Funk-Hecke theorem, which explains the eigenfunctions of this operator in the case of the mean squared loss.

연구 동기 및 목표

• 한 층의 신경망을 훈련하는 데 있어 아그노스틱 설정에서 경사하강법의 엄밀한 수렴 분석을 제공하는 것.
• 경사하강법이 저주파수 푸리에 성분을 고주파수 성분보다 먼저 학습하는 경험적 스펙트럼 편향을 이론적 프레임워크로 설명하는 것.
• 통계적 질의(SQ) 모델에서 거의 날것 같은 하한을 확립하여, 어떤 SQ 알고리즘도 차수-$k$ 다항식 근사 학습의 질의 복잡도에서 GD를 뛰어넘을 수 없음을 보여주는 것.
• 구면 조화다항식과 팡크-헤케 정리를 사용해 GD와 SQ 복잡도의 분석을 통합하여, 네트워크 훈련 동역학에 대한 기능 해석적 시각을 제공하는 것.

제안 방법

• 분석은 구면 조화다항식과 팡크-헤케 정리를 사용하여 경사하강법을 함수 공간 위의 선형 연산자로 모델링하고, 최적화 동역학의 스펙트럼 분해를 가능하게 한다.
• 핵심 존재 정리 증명: 유계 함수 중에서 오차 $\varepsilon_0$ 내에 차수-$k$ 다항식 근사가 존재하는 함수는, 차수 $k$까지의 비영인 조화계수를 갖는 활성화 클래스에서 임의로 선택한 $n^{O(k)} \cdot \text{poly}(1/\varepsilon)$ 개의 게이트를 사용해 $\varepsilon_0 + \varepsilon$ 이내로 근사할 수 있다.
• 이 방법은 ReLU 및 시그모이드 활성화 모두에 적용 가능하며, 둘 다 필요한 차수에서 비영인 조화계수를 갖는다.
• 수렴 보장은 GD가 볼록성이나 전역 수렴 조건 없이도 차수-$k$ 다항식에 대한 최적의 $L^2$ 근사로 네트워크 출력을 이끌어내는 것으로 유도된다.
• SQ 모델에서 하한은 가우시안 노이즈가 첨가된 질의로 감소시키고, 노이즈가 첨가된 질의의 리프시츠 성질을 활용하여 확립된다.
• SQ 하한은 거의 날것이다: 상수 오차를 달성하려면 $n^{\Omega(k)}$ 개의 질의가 필요하며, 이는 상한과 로그 인자 외에는 정확히 일치한다.

실험 결과

연구 질문

• RQ1 볼록성 없이도 경사하강법이 한 층의 신경망에서 최적의 차수-$k$ 다항식 근사로 확률적으로 수렴할 수 있는가?
• RQ2 왜 경사하강법은 훈련 중에 저주파 성분을 고주파 성분보다 먼저 학습하는가?
• RQ3 아그노스틱 학습 설정에서 차수-$k$ 다항식 근사 학습의 질의 복잡도 측면에서 경사하강법이 최적인가?
• RQ4 임의의 유계 타겟 함수에 대해 네트워크 크기와 반복 횟수의 관점에서 GD의 수렴을 유계로 제한할 수 있는가?
• RQ5 통계적 질의 모델에는 차수-$k$ 다항식 근사 학습을 더 빠르게 수행할 수 없는 본질적인 제약가 존재하는가?

주요 결과

• 경사하강법은 차수-$k$ 다항식에 대한 최적의 $L^2$ 근사로 수렴하며, $n^{O(k)}\log(1/\varepsilon)$ 의 네트워크 크기와 반복 횟수로 오차 $\varepsilon_0 + \varepsilon$ 내에서 수렴한다.
• 수렴은 아그노스틱이다: 타겟 함수가 다항식일 필요는 없으며, 오직 오차 $\varepsilon_0$ 내에 차수-$k$ 다항식 근사가 존재하는 것으로 충분하다.
• GD의 스펙트럼 편향—저주파수 푸리에 성분을 먼저 학습하는 현상—은 구면 조화다항식을 통한 기울기 연산자의 고유구조를 통해 엄밀히 설명된다.
• 상수 오차를 달성하면서 역다항식 정밀도를 갖는 어떤 SQ 알고리즘도 $n^{\Omega(k)}$ 개의 질의를 해야 하며, 이는 타겟 클래스가 $n^{O(k)}$ 개의 함수만을 포함하더라도 마찬가지다.
• 하한은 거의 상한과 일치하므로, GD가 이 학습 문제 클래스에 대해 SQ 모델에서 사실상 최적임을 보여준다.
• 결과는 ReLU 및 시그모이드 활성화 모두에 대해 성립하며, 이들의 조화급수 전개에서 차수 $k$까지의 비영인 계수를 갖는 한 성립한다.