[논문 리뷰] The power of deeper networks for expressing natural functions

David Rolnick, Max Tegmark|arXiv (Cornell University)|2017. 05. 16.

Neural Networks and Applications참고 문헌 16인용 수 90

한 줄 요약

이 논문은 깊은 피드포워드 네트워크가 얕은 네트워크보다 천연(polynomial) 다항식을 훨씬 더 효율적으로 표현함을 증명하며, 깊은 네트워크의 뉴런 수가 n에 대해 선형으로 증가하는 반면 단일 은닉층 네트워크는 지수적으로 증가한다; 층을 늘리면 대략 n^{1/k}로 스케일링되는 지수적 절감 효과가 생긴다.

ABSTRACT

It is well-known that neural networks are universal approximators, but that deeper networks tend in practice to be more powerful than shallower ones. We shed light on this by proving that the total number of neurons $m$ required to approximate natural classes of multivariate polynomials of $n$ variables grows only linearly with $n$ for deep neural networks, but grows exponentially when merely a single hidden layer is allowed. We also provide evidence that when the number of hidden layers is increased from $1$ to $k$, the neuron requirement grows exponentially not with $n$ but with $n^{1/k}$, suggesting that the minimum number of layers required for practical expressibility grows only logarithmically with $n$.

연구 동기 및 목표

• 깊은 네트워크가 자연 함수 표현에서 얕은 네트워크를 능가하는 이유에 대한 이론적 이해를 동기 부여한다.
• 다변수 다항식을 서로 다른 깊이의 네트워크로 근사할 때 필요한 자원(뉴런) 요구량을 정량화한다.
• 깊이가 희소 다항식과 자연 함수에 대해 필요한 뉴런 수를 급격하게 감소시킨다는 것을 보여준다.
• 입력 차원 n과 다항식의 희소성에 따라 필요한 최소 레이어 수가 어떻게 증가하는지 살펴본다.”],
• method [
• 모델 신경망을 N(x)=A_k σ(... σ(A_0 x))로 깊이 k를 갖는 형태로 모델한다.
• 표현력을 분석하기 위해 epsilon-균일 근사와 Taylor 근사를 사용한다.
• 차수 d까지의 비제로 Taylor 계수를 갖는 차수 d 다항식에 대해, m^ε_k(p)가 ε→0로 갈 때 유한한 극한으로 수렴함을 증명한다.
• 단항식에 대해 m^uniform_1(p) = ∏_i (r_i+1)임을 보이는 상한을 도출하고, m^uniform(p)는 ∑_i (7⌈log2(r_i)⌉+4)로 규모를 나타낸다.
• 일변수 및 다변수 다항식과 c개의 항을 가진 희소 다항식에 대한 분석을 확장한다.
• 곱의 깊이-k 표현을 바운드하기 위한 Taylor 기반 구성적 방법을 제안하여 p = x_1 x_2 ... x_n일 때 m^uniform_k(p) = O(n^{(k-1)/k} 2^{n^{1/k}})임을 얻는다.

제안 방법

• 모델 신경망을 N(x)=A_k σ(... σ(A_0 x))로 깊이 k를 갖는 형태로 모델한다.
• 표현력을 분석하기 위해 epsilon-균일 근사와 Taylor 근사를 사용한다.
• 차수 d까지의 비제로 Taylor 계수를 갖는 차수 d 다항식에 대해, m^ε_k(p)가 ε→0로 갈 때 유한한 극한으로 수렴함을 증명한다.
• 단항식에 대해 m^uniform_1(p) = ∏_i (r_i+1)임을 보이는 상한을 도출하고, m^uniform(p)는 ∑_i (7⌈log2(r_i)⌉+4)로 규모를 나타낸다.
• 일변수 및 다변수 다항식과 c개의 항을 가진 희소 다항식에 대한 분석을 확장한다.
• 곱의 깊이-k 표현을 바운드하기 위한 Taylor 기반 구성적 방법을 제안하여 p = x_1 x_2 ... x_n일 때 m^uniform_k(p) = O(n^{(k-1)/k} 2^{n^{1/k}})임을 얻는다.

실험 결과

연구 질문

• RQ1 다변수 다항식을 근사하는 데 필요한 뉴런 수가 네트워크의 깊이에 따라 어떻게 달라지는가?
• RQ2 자연 다항식 함수에 대해 얕은 네트워크와 깊은 네트워크 사이에 지수적 효율성 차이가 있는가?
• RQ3 입력 차원 n과 다항식의 희소성에 따라 필요한 최소 레이어 수가 어떻게 비례하는가?
• RQ4 희소 다항식이 더 깊은 구조에서 훨씬 더 적은 뉴런으로 표현될 수 있는가?
• RQ5 입력의 곱들을 근사하는 깊이-k 네트워크에 대한 구체적 구성적 바운드는 무엇인가?

주요 결과

• 차수 d까지의 비제로 Taylor 계수를 갖는 차수 d 다변수 다항식에 대해, m^ε_1(p) ≤ ∏_i (r_i+1).
• 같은 다항식에 대해, m^uniform(p) ≤ ∑_i (7⌈log2(r_i)⌉+4).
• 얕은 표현과 깊은 표현 사이에 uniform(및 Taylor) 근사 하에서 지수적 차이가 존재한다.
• 일변수 차수 d 다항식에 대해, m^Taylor_1(p) ≤ d+1이고, m^uniform(p)는 d에 대해 로그 규모로 유지될 수 있다.
• p = x1 x2 ... xn일 때, m^uniform_k(p) = O(n^{(k-1)/k} 2^{n^{1/k}})로, 깊이를 증가시키면 자원 필요가 크게 감소함을 보여준다.
• 실증적으로, bound n^{1/k}가 레이어 폭을 실현 가능한 크기(예: 2^{10}) 근처로 유지하는 데 필요한 계층 수를 안내한다.