[논문 리뷰] Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth

Guy Bresler, Nagaraj, Dheeraj|arXiv (Cornell University)|2020. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 푸리에 분해가 점점 더 불규칙한 함수를 근사할 때 깊이가 수행하는 정확한 역할을 규명함으로써, ReLU 네트워크에 대해 차원에 영향을 받지 않는 날카운 대표성 경계를 확립한다. D층 네트워크가 클래스 $\mathcal{G}_D$에 속한 함수를 $N^{-1}$ 순서의 최적 근사율로 근사할 수 있음을 증명하며, $D'<D$ 층을 가진 얕은 네트워크는 엄격히 열 劣한 $N^{-D'/D}$ 근사율을 보이며, 깊이가 더 불규칙한 함수를 더 적은 파rameter로 대표할 수 있음을 확인한다.

ABSTRACT

We prove sharp dimension-free representation results for neural networks with $D$ ReLU layers under square loss for a class of functions $\mathcal{G}_D$ defined in the paper. These results capture the precise benefits of depth in the following sense: 1. The rates for representing the class of functions $\mathcal{G}_D$ via $D$ ReLU layers is sharp up to constants, as shown by matching lower bounds. 2. For each $D$, $\mathcal{G}_{D} \subseteq \mathcal{G}_{D+1}$ and as $D$ grows the class of functions $\mathcal{G}_{D}$ contains progressively less smooth functions. 3. If $D^{\prime} &lt; D$, then the approximation rate for the class $\mathcal{G}_D$ achieved by depth $D^{\prime}$ networks is strictly worse than that achieved by depth $D$ networks. This constitutes a fine-grained characterization of the representation power of feedforward networks of arbitrary depth $D$ and number of neurons $N$, in contrast to existing representation results which either require $D$ growing quickly with $N$ or assume that the function being represented is highly smooth. In the latter case similar rates can be obtained with a single nonlinear layer. Our results confirm the prevailing hypothesis that deeper networks are better at representing less smooth functions, and indeed, the main technical novelty is to fully exploit the fact that deep networks can produce highly oscillatory functions with few activation functions.

연구 동기 및 목표

• 깊이 $D$와 너비 $N$이 임의로 주어진 경우, 딥 ReLU 네트워크의 대표 능력을 미세하게 규명하는 것.
• 얕은 네트워크가 달성할 수 있는 것 이상으로 덜 매끄러운 함수를 대표하는 데 깊이가 본질적인 이점을 제공하는지에 대한 열린 질문을 해결하는 것.
• 입력 차원에 관계없이 상수에만 의존하는 최적의 근사율을 확립하는 것.
• 더 깊은 네트워크가 동일한 수의 파rameter로 더 넓은 함수 클래스—특히 푸리에 변환 꼬리가 두꺼운 함수—를 대표할 수 있음을 보여주는 것.

제안 방법

• 저자들은 푸리에 변환의 감쇠 속도에 기반한 함수 클래스 $\mathcal{G}_D$를 정의하며, $D$가 증가할수록 더 덜 매끄러운 함수를 허용한다.
• 상한을 증명하기 위해, 복합적 구조를 활용해 소수의 파rameter로 매우 고주파의 진동 함수를 생성할 수 있는 딥 ReLU 네트워크를 구성한다.
• 하한을 위해, 네트워크 출력이 임계값을 몇 번이나 횡단하는지 셀 수 있는 개념인 크로싱 수 $\mathsf{Cr}(\hat{f})$를 사용하여 이와 근사 오차를 연결한다.
• 시험 함수 $f(x) = \frac{1 + \cos(\omega x / r)}{2\omega^\alpha}$를 사용한 하한 증명을 적용하며, $\omega = 2\pi L$로 정의하여 얕은 네트워크가 고주파 진동을 효율적으로 포착하지 못함을 보인다.
• 증명은 $D$층 ReLU 네트워크가 최대 $2(2N_0/D)^D$개의 크로싱을 생성할 수 있음을 활용하며, 이는 고주파 함수를 근사하는 능력을 제한함을 의미한다.
• 특히 $\alpha = 1/(2K)$로 선택함으로써, 상수에 비례하는 $\left(\frac{D}{N_0}\right)^{D/K}$ 순서의 하한을 유도하며, 이는 상한과 상수 오차 범위 내에서 일치한다.

실험 결과

연구 질문

• RQ1 매우 매끄럽지 않은 함수에 대해, 딥 ReLU 네트워크가 얕은 네트워크보다 더 나은 근사율을 달성할 수 있는가?
• RQ2 ReLU 네트워크의 근사 오차가 깊이 $D$와 너비 $N$에 대해 정확히 어떻게 의존하는가?
• RQ3 D층 네트워크가 $N^{-1}$ 근사율로 표현할 수 있고, $D'<D$ 층 네트워크는 엄격히 열 劣한 $\mathcal{G}_D$라는 함수 클래스 $\mathcal{G}_D$가 존재하는가?
• RQ4 너비가 고정되어 있을 때조차, 딥 네트워크의 대표 능력은 깊이에 따라 엄격히 증가하는가?
• RQ5 깊이의 이점은 $D$가 $N$과 함께 증가할 필요 없이, 날카운 차원에 영향을 받지 않는 특성으로 정확히 기술될 수 있는가?

주요 결과

• 클래스 $\mathcal{G}_D$에 속한 함수에 대해, $N$ 개의 뉴런을 가진 $D$층 ReLU 네트워크는 제곱 손실 하에 근사 오차가 $N^{-1}$ 순서이며, 이 근사율은 상수에만 의존하는 최적이다.
• 모든 $D' < D$에 대해, $\mathcal{G}_D$에 속한 함수에 대해 $D'$층 네트워크의 근사율은 엄격히 열 劣하며, $N^{-D'/D}$ 비율로 증가한다.
• $\mathcal{G}_D$ 클래스는 $D$가 증가함에 따라 확장되며, 깊이가 증가할수록 점점 더 불규칙한 함수—특히 푸리에 변환 감쇠가 느린 함수—를 허용한다.
• 하한 구성은 주파수 $\omega = 2\pi L$를 가진余弦 함수를 사용하며, $L$은 네트워크의 크로싱 수에 기반하여 선택된다. 이는 깊이와 너비 사이의 상충 관계를 유도한다.
• 하한은 네트워크 출력이 임계값 $1/2$를 횡단하지 않는 간격에 대한 세기 수를 활용한 수세기적 추론을 통해 유도되며, 이는 얕은 네트워크가 고주파 진동을 효율적으로 포착하지 못함을 보여준다.
• 결과적으로 더 깊은 네트워크가 덜 매끄러운 함수를 대표하는 데 본질적으로 더 우수하며, 이 이점은 근사율의 지수 $D'/D$를 통해 정량화됨을 확인한다.