[논문 리뷰] Deep vs. shallow networks : An approximation theory perspective

H. N. Mhaskar, Tomaso Poggio|arXiv (Cornell University)|2016. 08. 10.

Neural Networks and Applications참고 문헌 22인용 수 13

한 줄 요약

이 논문은 구성 함수를 근사할 때 깊이 있는 신경망이 浅은 네트워크보다 성능이 뛰어나다는 이론적 기반을 제공한다. 구성 요소의 구조적 우수성을 반영하는 흐트러짐 정도를 측정하는 '상대 차원' 개념을 도입함으로써 이를 설명한다. ReLU나 가우시안 활성화 함수를 사용하는 깊이 있는 네트워크는 깊이가 얕은 네트워크보다 지수적으로 더 적은 파라미터로 고차원 함수를 근사할 수 있으며, 계층적 구성성을 통해 차원의 극복 문제를 피할 수 있다.

ABSTRACT

The paper briefy reviews several recent results on hierarchical architectures for learning from examples, that may formally explain the conditions under which Deep Convolutional Neural Networks perform much better in function approximation problems than shallow, one-hidden layer architectures. The paper announces new results for a non-smooth activation function - the ReLU function - used in present-day neural networks, as well as for the Gaussian networks. We propose a new definition of relative dimension to encapsulate different notions of sparsity of a function class that can possibly be exploited by deep networks but not by shallow ones to drastically reduce the complexity required for approximation and learning.

연구 동기 및 목표

• 깊이 있는 컨volution 신경망(DCNNs)이 함수 근사 과제에서 얕은 네트워크보다 우수한 근사 성능을 보이는 이유를 설명하기.
• 함수의 구성적 구조를 활용함으로써 깊이 있는 네트워크가 차원의 극복 문제를 어떻게 피할 수 있는지 수학적으로 명시하기.
• 깊이 있는 네트워크가 활용할 수 있지만 얕은 네트워크가 활용할 수 없는 다양한 형태의 흐트러짐을 측정할 수 있는 새로운 척도인 '상대 차원'을 도입하고 그 타당성을 제시하기.
• 현대 딥 러닝의 핵심 요소인 ReLU 및 가우시안 활성화 함수를 대상으로 근사 이론 결과를 확장하기.
• 확률적 경사 하강법(SGD)이 깊이 있는 네트워크 학습에서 경험적으로 성공한 이유를, 구성 함수의 효율적 근사와 연결함으로써 이론적 근거를 제시하기.

제안 방법

• 깊이 있는 네트워크 아키텍처를 모델링하기 위해 방향성 비순환 그래프(DAGs) 기반의 새로운 이론적 프레임워크를 제안하며, 특히 ResNet이나 컨volution 구조를 닮은 아키텍처를 대상으로 한다.
• 유한한 진입 차수(예: 이진 트리)를 가진 DAG로 구성된 구성 함수의 개념을 도입함으로써, 계층적 구성에 의한 효율적 근사를 가능하게 한다.
• 상대 차원 $ D(\text{V}, \text{W}) = \limsup_{n\to\infty} \frac{\log d_n(\text{W})}{\log d_n(\text{V})} $ 를 정의하며, 여기서 $ d_n $ 은 비선형 $ n $-폭을 의미한다. 이는 깊이 있는 네트워크가 얕은 네트워크보다 가지는 근사 우월성을 정량화한다.
• 베르누이 스타일 부등식을 적용하여 $ \mathcal{B}_{\gamma,q} $ (ReLU용) 및 $ \mathcal{G}\mathcal{B}_{\gamma} $ (가우시안 네트워크용)로 정의된 함수 클래스의 근사 오차 한계를 도출함으로써, 깊이 있는 네트워크가 더 빠른 수렴 속도를 가짐을 보여준다.
• 다항식 및 스퍼린 기반 예시를 통해 깊이 있는 네트워크가 얕은 네트워크보다 훨씬 적은 파라미터로 고차수 또는 다중 척도 함수를 표현할 수 있음을 시연한다.
• 예를 들어 $ Q(x_1,x_2,x_3,x_4) = (Q_1(Q_2(x_1,x_2), Q_3(x_3,x_4)))^{1024} $ 와 같은 함수의 경우, 깊이 있는 네트워크는 $ \mathcal{O}(n^{18}) $ 개의 파라미터로 충분하지만, 구성 구조 없이 얕은 네트워크는 약 $ \sim 1.17 \times 10^{13} $ 개의 파라미터가 필요하다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망과 얕은 네트워크가 유사한 파라미터 수를 가짐에도 불구하고, 일부 함수를 훨씬 더 잘 근사하는 이유는 무엇인가?
• RQ2 어떤 함수의 구조적 특성이 깊이 있는 네트워크가 근사 과정에서 차원의 극복 문제를 피할 수 있도록 하는가?
• RQ3 함수 클래스 내의 다양한 형태의 흐트러짐을 수학적으로 정량화할 수 있는 방법은 무엇이며, 이를 통해 깊이 있는 네트워크의 우월성을 설명할 수 있는가?
• RQ4 ReLU 및 가우시안 네트워크의 근사 능력을 통합된 프레임워크를 통해 이론적으로 한계를 정의하고 얕은 네트워크와 비교할 수 있는가?
• RQ5 계층적 함수 조합(예: 계층적 함수 합성)은 깊이 있는 네트워크가 효율적인 근사를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• ReLU 또는 가우시안 활성화 함수를 사용하는 깊이 있는 네트워크는, 특히 계층적 또는 다중 척도적 구조를 띤 함수의 경우, 얕은 네트워크보다 훨씬 적은 파라미터로 구성 함수를 근사할 수 있다.
• 4개의 변수에 대해 총 차수 4096인 중첩 다항식으로 구성된 함수의 경우, 얕은 네트워크는 약 $ 1.17 \times 10^{13} $ 개의 파라미터가 필요하지만, 깊이 있는 네트워크는 구성 구조 덕분에 오직 $ \mathcal{O}(n^{18}) $ 개의 파라미터로 표현할 수 있다.
• 상대 차원 $ D(\mathcal{G}\mathcal{B}_{\gamma}, \mathcal{B}_{\gamma,q}) \leq d/q $ 는 깊이 있는 네트워크의 근사 우월성을 정량화하며, 여기서 $ d $ 는 최대 진입 차수이고 $ q $ 는 함수 클래스의 차원이다.
• 가우시안 네트워크 클래스 $ \mathcal{G}\mathcal{B}_{\gamma} $ 의 비선형 $ n $-폭은 $ \mathcal{O}(n^{-\gamma/(2d)}) $ 의 속도로 감소하는 반면, ReLU 클래스 $ \mathcal{B}_{\gamma,q} $ 는 $ \mathcal{O}(n^{-\gamma/(2q)}) $ 의 속도로 감소한다. 이는 $ d \ll q $ 일 때 깊이 있는 네트워크가 더 빠른 수렴 속도를 확보함을 시사한다.
• 논문은 가우시안 네트워크에 대해 역정리를 증명하여 근사 오차 한계가 날카롭다는 것을 보이며, ReLU 네트워크의 경우에도 유사한 결과가 성립할 것이라 추측한다.
• 이론적 프레임워크는 파라미터 수가 네트워크 복잡성의 최적 척도가 아니라는 점을 보여주며, 대신 상대 차원이 아키텍처의 깊이와 구성적 구조에서 기인하는 진정한 효율성 향상을 반영한다.