[논문 리뷰] Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective

Stephan Wojtowytsch, E Weinan|arXiv (Cornell University)|2020. 05. 21.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 14

한 줄 요약

이 논문은 평균장 학습 하에서 두 층의 ReLU 신경망이 일반적인 1-Lipschitz 연속 목표 함수를 근사할 때, 인구 위험의 감소 속도가 $ t^{-4/(d-2)} $ 이하로 떨어지므로 차원의 극복 불가능성(curse of dimensionality)을 초래할 수 없음을 보여준다. 이 결과는 무한히 넓은 네트워크일 경우에도 성립하며, 목표 함수가 Barron 공간에 속해 있지 않은 한 고차원에서 수렴 속도가 크게 느려짐을 드러낸다.

ABSTRACT

We prove that the gradient descent training of a two-layer neural network on empirical or population risk may not decrease population risk at an order faster than $t^{-4/(d-2)}$ under mean field scaling. Thus gradient descent training for fitting reasonably smooth, but truly high-dimensional data may be subject to the curse of dimensionality. We present numerical evidence that gradient descent training with general Lipschitz target functions becomes slower and slower as the dimension increases, but converges at approximately the same rate in all dimensions when the target function lies in the natural function space for two-layer ReLU networks.

연구 동기 및 목표

• 평균장 학습 역학 하에서 얕은 신경망이 고차원 함수 근사에서 차원의 극복 불가능성에서 벗어날 수 있는지 조사하기.
• 고차원에서 두 층의 ReLU 네트워크에 대해 인구 위험 및 표본 위험에 대한 경사 하강법의 수렴 속도 분석하기.
• 특히 목표 함수의 함수 공간과의 관계에서 경사 하강법 학습이 여전히 효율적인 조건을 규명하기.
• Barron 공간이 고차원 설정에서의 빠른 수렴을 가능하게 하고 느린 감소를 피하는 데서 수행하는 역할을 명확히 하기.

제안 방법

• 평균장 스케일링 하에서 인구 위험 기능 $ \mathcal{R}(\Theta) = \frac{1}{2}\int_{[0,1]^d} (f_\Theta - f^*)^2 \, dx $ 에 대한 경사 하강법 역학 분석.
• 네트워크 출력이 $ f_\Theta(x) = \frac{1}{m}\sum_{i=1}^m a_i \sigma(w_i^T x + b_i) $ 로 주어지는 평균장 스케일링을 사용하여 매개변수 공간에서 연속적인 입자 역학을 가능하게 함.
• Barron 공간에 속하지 않지만 1-Lipschitz 연속인 반면 고차원에서 수렴 속도가 느린 반례 목표 함수 $ f^* $ 를 구성함.
• 인구 위험 감소 속도에 하한을 도출: $ \mathcal{R}(\Theta_t) \geq t^{-4/(d-2)} $, 이는 이러한 함수에 대해 더 빠른 감소가 불가능함을 증명함.
• 경로 노름 분석과 약한 수렴 논증을 활용하여 매개변수 진동의 반경 성분이 느리게 증가함을 보여, 수렴 속도가 제한됨을 밝힘.
• 표본 및 인구 위험에 대한 학습을 수치적으로 검증하여 차원과 목표 함수 클래스에 따라 감소 속도 비교함.

실험 결과

연구 질문

• RQ1 평균장 경사 하강법으로 학습된 두 층의 신경망이 일반적인 1-Lipschitz 연속 목표 함수에 대해 차원의 극복 불가능성을 피할 수 있는가?
• RQ2 얕은 ReLU 네트워크의 고차원 설정에서 경사 하강법의 수렴 속도에 대한 본질적 한계는 무엇인가?
• RQ3 목표 함수의 함수 공간, 특히 Barron 공간에 속해 있는지 여부가 고차원에서의 학습 속도에 어떤 영향을 미치는가?
• RQ4 고차원 설정에서 표본 위험 감소 속도가 인구 위험보다 더 빠를 수 있는가? 어떤 조건에서 가능한가?
• RQ5 고차원에서의 느린 수렴은 신경망의 함수 공간 내 최소화자가 존재하지 않기 때문인가?

주요 결과

• Barron 공간에 속하지 않는 모든 1-Lipschitz 연속 목표 함수에 대해 인구 위험 감소 속도는 $ t^{-4/(d-2)} $ 이하로 떨어지며, 이는 고차원에서 본질적인 느려짐을 의미한다.
• 차원 수 $ d $ 가 증가함에 따라 수렴 속도가 무한히 느려지며, $ \gamma = 4/(d-2) \to 0 $ 로 수렴함에 따라 차원의 극복 불가능성이 확인된다.
• 목표 함수가 Barron 공간에 속할 경우, 표본 및 인구 위험 감소 속도가 약 $ t^{-1.5} $ 로 빠르고, 이는 차원에 관계없이 비교적 안정적이다.
• 수치 실험 결과, 비-Barron 목표 함수에 대해 고차원(예: $ d=250 $)에서 4,000개의 표본으로 학습할 경우 표본 위험은 빠르게 감소하지만, 분포 불일치 및 매개변수 수 증가로 인해 인구 위험은 증가함을 보였다.
• 초기 '반경' 단계(매개변수 노름 급속 증가)에서 안정적인 '각도' 단계(방향성 업데이트만)로의 전환은 약 $ t \approx 7 $ 에 발생하며, 이는 학습 역학의 전환점을 나타낸다.
• 학습 중 경로 노름이 느리게 증가하여, Barron 공간 외부의 복잡한 고차원 목표 함수에 대해 네트워크가 적응할 수 있는 속도가 제한됨을 보여줌.