[논문 리뷰] On the number of response regions of deep feed forward networks with piece-wise linear activations

Razvan Pascanu, Guido Montúfar외 1명|arXiv (Cornell University)|2013. 12. 20.

Advanced Memory and Neural Computing참고 문헌 17인용 수 126

한 줄 요약

이 논문은 입력 공간 내에서 정의된 조각별 선형 함수의 선형 영역 수를 세는 방식으로 ReLU 활성화를 갖는 딥 피드포워드 네트워크의 표현 능력을 분석한다. 깊이가 증가할수록 동일한 파라미터 수를 가진 얕은 네트워크보다 깊은 네트워크가 기하급수적으로 더 많은 선형 영역을 달성할 수 있음을 보여주며, 이는 계층적 조합을 통한 복잡한 함수 모델링에서의 근본적인 이점임을 입증한다.

ABSTRACT

This paper explores the complexity of deep feedforward networks with linear pre-synaptic couplings and rectified linear activations. This is a contribution to the growing body of work contrasting the representational power of deep and shallow network architectures. In particular, we offer a framework for comparing deep and shallow models that belong to the family of piecewise linear functions based on computational geometry. We look at a deep rectifier multi-layer perceptron (MLP) with linear outputs units and compare it with a single layer version of the model. In the asymptotic regime, when the number of inputs stays constant, if the shallow model has $kn$ hidden units and $n_0$ inputs, then the number of linear regions is $O(k^{n_0}n^{n_0})$. For a $k$ layer model with $n$ hidden units on each layer it is $Ω(\left\lfloor {n}/{n_0} ight floor^{k-1}n^{n_0})$. The number $\left\lfloor{n}/{n_0} ight floor^{k-1}$ grows faster than $k^{n_0}$ when $n$ tends to infinity or when $k$ tends to infinity and $n \geq 2n_0$. Additionally, even when $k$ is small, if we restrict $n$ to be $2n_0$, we can show that a deep model has considerably more linear regions that a shallow one. We consider this as a first step towards understanding the complexity of these models and specifically towards providing suitable mathematical tools for future analysis.

연구 동기 및 목표

• 딥 신경망이 얕은 네트워크보다 더 효율적으로 복잡한 함수를 표현할 수 있는 이유를 이해하기 위해.
• ReLU와 같은 조각별 선형 활성화를 갖는 딥 피드포워드 네트워크의 표현 용량을 정량화하기 위해.
• 고정된 파라미터 예산 하에서 깊은 네트워크와 얕은 네트워크의 선형 영역 수를 비교하기 위해.
• 초평면 배열 기반의 기하학적 프레임워크를 개발하여 딥 네트워크의 복잡성 분석하기 위해.

제안 방법

• 입력 공간 내에서의 반응 영역를 분석하기 위해 딥 ReLU 네트워크를 조각별 선형 함수의 복합체로 모델링하기 위해.
• 입력 공간 내 초평면 배열이 형성하는 선형 영역 수를 세기 위해 계산 기하학을 사용하기 위해.
• 조합 합을 사용하여 얕은 네트워크와 깊은 네트워크 아키텍처의 선형 영역 수에 대한 상한과 하한을 유도하기 위해.
• 깊이와 너비에 따른 선형 영역 수의 증가율을 비교하기 위해 점근적 분석(Big-O 및 Big-Omega 표기법)을 적용하기 위해.
• 선형 영역 수와 파라미터 수 간의 관계를 분석하여 표현 효율성 평가하기 위해.
• 깊은 모델은 깊이에 따라 선형 영역 수가 기하급수적으로 증가하는 반면, 얕은 모델은 다항식적으로 증가함을 입증하기 위해.

실험 결과

연구 질문

• RQ1 입력 차원이 고정된 깊은 ReLU 네트워크의 선형 영역 수가 깊이와 너비에 따라 얕은 네트워크보다 어떻게 변화하는가? (동일한 파라미터 수를 가진 경우)
• RQ2 파라미터 수가 동일할 때 깊은 네트워크가 얕은 네트워크보다 기하급수적으로 더 많은 선형 영역을 달성할 수 있는가?
• RQ3 입력 치수를 고정했을 때 ReLU 네트워크의 깊이와 선형 영역 수 사이의 관계는 무엇인가?
• RQ4 딥 네트워크와 얕은 네트워크에서 파라미터 수에 따라 선형 영역 수는 어떻게 증가하는가?
• RQ5 딥 네트워크의 계층적 조합이 얕은 네트워크가 달성할 수 있는 표현 용량을 초월하여 표현 용량을 얼마나 증가시키는가?

주요 결과

• 입력 수 $ n_0 $ 가 $ O(1) $ 인 경우, $ kn $개의 은닉 유닛을 가진 얕은 네트워크의 선형 영역 수는 $ O(k^{n_0}n^{n_0}) $ 이다.
• 각 레이어에 $ n $개의 은닉 유닛을 가진 $ k $-층의 깊은 네트워크의 경우, 입력 수 $ n_0 $ 가 $ O(1) $ 인 경우 선형 영역 수는 $ \Omega\left(\left\lfloor\frac{n}{n_0}\right\rfloor^{k-1}n^{n_0}\right) $ 이다.
• 입력 수 $ n \geq 2n_0 $ 인 경우, $ n \to \infty $ 또는 $ k \to \infty $ 일 때 깊은 모델의 영역 수가 얕은 모델보다 더 빠르게 증가한다.
• 입력 수 $ n = 2n_0 $ 인 경우, 작은 $ k $ 에서도 깊은 모델은 얕은 모델보다 훨씬 더 많은 선형 영역을 가진다.
• 선형 영역 수 대비 파라미터 수의 비율은 깊이 $ k $ 에 따라 기하급수적으로 증가하며, 이는 깊은 모델의 뛰어난 표현 효율성을 시사한다.
• 깊은 모델의 파라미터 수는 $ O(kn^2) $ 이고, 얕은 모델은 $ O(kn) $ 이므로, 깊은 모델이 파라미터 당 더 많은 영역을 달성함을 보여준다.