[논문 리뷰] A Corrective View of Neural Networks: Representation, Memorization and Learning

Guy Bresler, Nagaraj, Dheeraj|arXiv (Cornell University)|2020. 02. 01.

Neural Networks and Applications참고 문헌 44인용 수 8

한 줄 요약

이 논문은 반복적으로 오차를 보정함으로써 함수 근사치를 개선하는 수정형 신경망 프레임워크를 소개한다. 이는 ReLU 및 부드러운 ReLU 유닛을 그룹화하여 후속 레이어에서의 오차를 수정한다. 이 프레임워크는 두 레이어 신경망이 임의의 데이터를 Õ(n/θ⁴)개의 유닛으로 기억할 수 있으며, 저차수 다항식을 다항식 이하의 샘플 복잡도로 학습할 수 있음을 입증한다. 이는 부드러운 함수 표현과 학습을 위해 깊이가 반드시 필요하다는 기존의 가정에 도전한다.

ABSTRACT

We develop a corrective mechanism for neural network approximation: the total available non-linear units are divided into multiple groups and the first group approximates the function under consideration, the second group approximates the error in approximation produced by the first group and corrects it, the third group approximates the error produced by the first and second groups together and so on. This technique yields several new representation and learning results for neural networks. First, we show that two-layer neural networks in the random features regime (RF) can memorize arbitrary labels for arbitrary points under under Euclidean distance separation condition using $ ilde{O}(n)$ ReLUs which is optimal in $n$ up to logarithmic factors. Next, we give a powerful representation result for two-layer neural networks with ReLUs and smoothed ReLUs which can achieve a squared error of at most $ε$ with $O(C(a,d)ε^{-1/(a+1)})$ for $a \in \mathbb{N}\cup\{0\}$ when the function is smooth enough (roughly when it has $Θ(ad)$ bounded derivatives). In certain cases $d$ can be replaced with effective dimension $q \ll d$. Previous results of this type implement Taylor series approximation using deep architectures. We also consider three-layer neural networks and show that the corrective mechanism yields faster representation rates for smooth radial functions. Lastly, we obtain the first $O(\mathrm{subpoly}(1/ε))$ upper bound on the number of neurons required for a two layer network to learn low degree polynomials up to squared error $ε$ via gradient descent. Even though deep networks can express these polynomials with $O(\mathrm{polylog}(1/ε))$ neurons, the best learning bounds on this problem require $\mathrm{poly}(1/ε)$ neurons.

연구 동기 및 목표

• 신경망 근사에 대한 수정 메커니즘을 개발하여 표현 및 학습 효율성을 향상시키는 것.
• 깊이가 부드러운 함수를 표현하기 위해 진정으로 필요한가를 조사하여 딥러닝 이론에서 널리 공인된 가정에 도전하는 것.
• 두 레이어 랜덤 특징 신경망에서 경사 하강법를 사용하여 저차수 다항식 학습을 위한 보장을 제공하는 것.
• ReLU 기반 신경망을 사용하여 고차원 공간에서 임의의 레이블의 기억에 대해 최적의 경계를 설정하는 것.
• 부드러운 ReLU 유닛이 표준 ReLU에 비해 부드러운 함수에 대한 근사 효율성을 크게 향상시킨다는 것을 보여주는 것.

제안 방법

• 비선형 유닛을 순차적 그룹으로 나누며, 첫 번째 그룹은 목표 함수를 근사하고, 두 번째 그룹은 첫 번째의 오차를 보정하며, 이를 반복하여 수정 계층을 형성한다.
• 일반화 및 기억 경계를 확보하기 위해 ReLU 및 부드러운 ReLU 활성화 함수를 사용하는 랜덤 특징 영역을 적용한다.
• 함수의 부드러움과 도함수의 감쇠 정도에 기반한 근사 오차를 제한하기 위해 푸리에 분석 및 소볼레프 공간 가정을 적용한다.
• 고차원 함수를 효율적으로 추정하기 위해 저차원 부분공간에서의 랜덤 샘플링 절차를 사용한다.
• 일반화 오차를 감소시키기 위해 다수의 랜덤 신경망에 대한 평균을 취함으로써 농도 부등식과 기대값 경계를 활용한다.
• 부드럽게 지역화된 근사와 효과적인 부분공간에서의 정사각형을 위해 볼록 함수와 수직 투영을 활용한다.

실험 결과

연구 질문

• RQ1 두 레이어 신경망에서 ReLU 및 부드러운 ReLU 유닛을 사용할 경우, 하위 최적의 폭 스케일링으로 임의의 레이블을 최적의 기억이 가능할 수 있는가?
• RQ2 깊이가 부드러운 함수의 효율적 표현을 위해 진정으로 필요한가, 아니면 얕은 네트워크가 깊은 네트워크 성능을 따라올 수 있는가?
• RQ3 두 레이어 랜덤 특징 네트워크에서 재조합 가중치에 대한 경사 하강법이 저차수 다항식 학습에 대해 다항식 이하의 샘플 복잡도를 달성할 수 있는가?
• RQ4 효과적인 차원 q < d가 도함수의 유계성 조건을 만족하는 함수의 근사 효율성에 어떤 영향을 미치는가?
• RQ5 수정 학습 기반 기법을 사용할 때, 부드러운 함수에 대해 네트워크 폭과 근사 오차 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 두 레이어 ReLU 네트워크는 ℝᵈ 내 n개의 임의의 점을 Õ(n/θ⁴)개의 유닛으로 기억할 수 있으며, 여기서 θ는 최소 점 간 거리이다. 이 경계는 로그 인자 외에는 최적이다.
• Θ(ad)로 유계된 도함수를 가진 함수의 경우, 두 레이어 네트워크에서 ReLU 및 부드러운 ReLU 유닛을 사용하면 O(C(a,d)ε⁻¹ᐟ⁽ᵃ⁺¹⁾)개의 유닛으로 ε-근사치를 달성할 수 있으며, d는 효과적인 차원 q ≪ d로 줄일 수 있다.
• 두 레이어 랜덤 특징 네트워크에서 재조합 가중치에 대한 경사 하강법는 저차수 다항식 학습에 대해 제곱 오차 ε를 사용할 때 다항식 이하의(=subpoly(1/ε)) 수의 유닛을 사용하여 수행되며, 이는 첫 번째로 such 보장을 제공한다.
• 이론적 결과는 깊이가 부드러운 함수의 효율적 표현을 위해 필요하지 않음을 보여주며, 딥러닝 이론에서 널리 공인된 가정과 정면으로 배치된다.
• 부드러운 ReLU 유닛의 사용은 더 날카운 근사 경계와 향상된 일반화 성능을 가능하게 하며, 특히 효과적인 차원이 낮고 고차원 설정에서 뛰어난 성능을 발휘한다.
• 저차원 부분공간으로 투영하고 국소화된 볼록 함수를 사용함으로써, 상당히 감소된 파rameter 수로 고정밀 근사가 가능해진다.