[논문 리뷰] Understanding Deep Neural Networks with Rectified Linear Units

Raman Arora, Amitabh Basu외 2명|arXiv (Cornell University)|2016. 11. 04.

Machine Learning and Algorithms참고 문헌 33인용 수 127

한 줄 요약

이 논문은 ReLU DNNs를 분석하여 조각상 선형 함수와의 정확한 대응을 보이고, 1-힌드-레이어 네트워크에 대한 다항 시간의 전역 최적화기를 제시하며, 깊이/크기 하한과 zonotopes를 통한 선형 부분의 지수 증가를 확립한다.

ABSTRACT

In this paper we investigate the family of functions representable by deep neural networks (DNN) with rectified linear units (ReLU). We give an algorithm to train a ReLU DNN with one hidden layer to *global optimality* with runtime polynomial in the data size albeit exponential in the input dimension. Further, we improve on the known lower bounds on size (from exponential to super exponential) for approximating a ReLU deep net function by a shallower ReLU net. Our gap theorems hold for smoothly parametrized families of "hard" functions, contrary to countable, discrete families known in the literature. An example consequence of our gap theorems is the following: for every natural number $k$ there exists a function representable by a ReLU DNN with $k^2$ hidden layers and total size $k^3$, such that any ReLU DNN with at most $k$ hidden layers will require at least $\frac{1}{2}k^{k+1}-1$ total nodes. Finally, for the family of $\mathbb{R}^n o \mathbb{R}$ DNNs with ReLU activations, we show a new lowerbound on the number of affine pieces, which is larger than previous constructions in certain regimes of the network architecture and most distinctively our lowerbound is demonstrated by an explicit construction of a *smoothly parameterized* family of functions attaining this scaling. Our construction utilizes the theory of zonotopes from polyhedral theory.

연구 동기 및 목표

• ReLU DNNs가 나타내는 함수 클래스와 그것의 부분 선형 함수와의 관계를 규명한다.
• 깊이와 너비가 표현력과 표현 능력에 어떤 영향을 미치는지 이해한다.
• 깊이/크기 하한이 특정 함수들에 대해 지수적/초지수적 이점을 입증한다.
• ReLU DNN에서의 아핀 조각의 수를 달성하거나 경계하는 구성들을 제공한다.
• ReLU DNN 표현력과 다면체 기하학(조노토프) 및 알려진 근사 결과를 연결한다.

제안 방법

• 모든 ReLU DNN은 연속적인 부분 선형 함수를 계산하고, 모든 연속 PWL 함수는 깊이가 ceil(log2(n+1))+1 이하인 ReLU DNN으로 표현될 수 있다.
• 최대 연산 및 convex 조각들을 DNN 내에서 구성적으로 표현하는 증명을 제공한다.
• 깊이-크기 트레이드오프를 도출하고 원활하게 매개변수화된 hard 함수 군을 구성하여 얕은 네트워크와 깊은 네트워크를 구분한다.
• 조노토프와 그 지지 함수들을 사용하여 아핀 조각의 수를 한정하고, 계산적 간극이 있는 강한 함수 가족을 구축한다.
• 명시적 정리(예: 정리 2.1, 정리 2.3, 정리 3.1, 보조 류 3.3–3.4)와 보조 보정 렘마들을 제시한다.

실험 결과

연구 질문

• RQ1 ReLU DNNs가 나타낼 수 있는 함수의 클래스는 무엇이며, 이것이 부분 선형 함수와 어떤 관련이 있는가?
• RQ2 깊이와 너비가 표현력과 특정 함수를 표현하는 데 필요한 크기에 어떤 영향을 미치는가?
• RQ3 ReLU 네트워크에 대한 깊이/크기 간 차이를 보이는 매끄럽게 매개변수화된 하드 함수 군을 구성할 수 있는가?
• RQ4 ReLU DNN의 아핀 조각 수에 대한 하한은 무엇이며, 이것에 조노토프가 어떻게 기여하는가?

주요 결과

• ReLU DNNs는 정확하게 연속적인 부분 선형 함수를 계산하며, 모든 그러한 함수는 깊이가 ceil(log2(n+1))+1 이하인 ReLU DNN으로 표현될 수 있다(정리 2.1).
• n=1에 대해, p 조각을 갖는 부분 선형 함수는 최대 p 개의 노드를 가지는 2-층 DNN으로 표현될 수 있고, 이러한 DNN은 최소 p-1개의 노드가 필요하다(정리 2.2).
• R^n에서의 모든 Lq (1≤q≤∞) 함수는 깊이가 ceil(log2(n+1))+1 이하인 ReLU DNN으로 임의로 잘 근사될 수 있다(정리 2.3).
• k+1-층 ReLU DNN의 너비 w로 표현 가능한 매끄럽게 매개변수화된 R→R 하드 함수 군이 존재하며, 어떤 얕은 네트워크(≤k 층)는 크기가 대략 (1/2) k' w^{k/k'} - 1 이상이어야 한다(정리 3.1).
• 특정 R^n→R ReLU DNN에서 입력 차원에서 선형 조각의 수가 지수적으로 증가한다는 하한이 존재한다(정리 3.2 및 관련 코롤라리).
• 결과는 매끄러운 매개화와 zonotope 기반 구성을 사용하여 깊이-크기 간의 초지수적 차이를 제공하고, 이전의 깊이-분리 연구를 강화한다(코롤라리 3.3–3.4; 정리 3.5).