[논문 리뷰] On the Number of Linear Regions of Deep Neural Networks

Guido Montúfar, Razvan Pascanu외 2명|arXiv (Cornell University)|2014. 02. 08.

Neural Networks and Applications참고 문헌 21인용 수 571

한 줄 요약

이 논문은 조각별 선형 활성화 함수(예: ReLU 및 maxout)를 갖는 딥 피드포워드 신경망의 표현 능력을 분석하며, 입력 공간을 몇 개의 선형 영역으로 분할할 수 있는지 수량화한다. 깊이 있는 네트워크가 동일한 수의 파라미터를 가진 얕은 네트워크보다 지수적으로 더 많은 선형 영역을 달성할 수 있음을 보여주며, 계층적 특징 재사용과 조합을 통한 복잡한 구조적 함수 모델링에서 깊이의 근본적인 이점을 드러낸다.

ABSTRACT

We study the complexity of functions computable by deep feedforward neural networks with piecewise linear activations in terms of the symmetries and the number of linear regions that they have. Deep networks are able to sequentially map portions of each layer's input-space to the same output. In this way, deep models compute functions that react equally to complicated patterns of different inputs. The compositional structure of these functions enables them to re-use pieces of computation exponentially often in terms of the network's depth. This paper investigates the complexity of such compositional maps and contributes new theoretical results regarding the advantage of depth for neural networks with piecewise linear activation functions. In particular, our analysis is not specific to a single family of models, and as an example, we employ it for rectifier and maxout networks. We improve complexity bounds from pre-existing work and investigate the behavior of units in higher layers.

연구 동기 및 목표

• 조각별 선형 활성화 함수를 갖는 딥 네트워크의 표현 복잡도를 이해하기 위해.
• 깊이가 네트워크의 함수에 의해 분할된 입력 공간의 선형 영역 수를 어떻게 증가시키는지 수량화하기 위해.
• 정규화된 리턴과 maxout 네트워크의 선형 영역 수에 대한 이론적 한계를 설정하기 위해.
• 딥 네트워크가 계층적 구성으로 인해 저수준 계산을 지수적으로 반복 사용할 수 있음을 보여주기 위해.
• 다양한 조각별 선형 네트워크(예: 컨volution 아키텍처 포함)에 적용 가능한 일반적 프레임워크를 제공하기 위해.

제안 방법

• 조각별 선형 활성화 함수에 의해 유도되는 입력 공간 분할을 분석하며, 네트워크 출력이 애핀인 선형 영역에 집중한다.
• 기하학적 및 조합론적 추론을 사용하여 층의 너비, 깊이, 활성화 유형에 기반해 선형 영역 수를 근사한다.
• 초평면과 베르로이 다이어그램 배열의 결과를 적용하여 영역 수의 상한과 하한을 구한다.
• 명시적인 네트워크 구성(예: 평행 초평면, maxout 유닛)을 구축하여 영역 수의 날카로운 하한을 확보한다.
• 각 층이 입력 이웃을 공유되는 출력으로 매핑하는 방식으로 깊이 있는 네트워크 분석을 확장하여 계산의 지수적 재사용을 가능하게 한다.
• 랭크-$k$ 유닛을 입력 공간 내 $k$개의 콘에 연결하여 maxout 네트워크에 대한 이론적 한계를 유도한다.

실험 결과

연구 질문

• RQ1 조각별 선형 활성화 함수를 갖는 딥 네트워크에서 선형 영역 수는 깊이와 너비에 따라 어떻게 증가하는가?
• RQ2 ReLU 또는 maxout 유닛을 갖는 딥 네트워크가 계산할 수 있는 최대 선형 영역 수는 얼마인가?
• RQ3 같은 수의 파라미터를 가진 얕은 네트워크와 비교해 딥 네트워크의 선형 영역 수는 어떻게 다른가?
• RQ4 딥 네트워크에서 계층적 조합은 표현 복잡도를 어떻게 지수적으로 증가시키는가?
• RQ5 동일한 이론적 프레임워크를 max-pooling과 ReLU 유닛을 갖는 컨volution 네트워크에 적용할 수 있는가?

주요 결과

• 깊이 $L$층, 너비 $n_0$인 리턴 네트워크는 최소 $2^{n_0 L}$개의 선형 영역을 갖는 함수를 계산할 수 있으며, 깊이에 따라 지수적으로 증가한다.
• 깊이 $L$, 너비 $n_0$, 랭크 $k$인 maxout 네트워크는 최소 $k^{L-1} k^{n_0} = k^{n_0 L}$개의 선형 영역을 갖는 함수를 계산할 수 있으며, 깊이와 랭크에 따라 지수적 증가를 보인다.
• 딥 네트워크의 선형 영역 수는 동일한 수의 파라미터를 가진 얕은 네트워크보다 지수적으로 더 빠르게 증가할 수 있다.
• 단일 층 maxout 네트워크의 하한은 $n$개의 입력, $m$개의 출력, 랭크 $k$일 때 $k^{ ext{min}egin{Bmatrix}n,m\end{Bmatrix}}$이며, 복잡도에 대한 날카로운 기준선을 제공한다.
• 이 프레임워크는 컨volution 네트워크에도 적용 가능하다: max-pooling과 ReLU 유닛은 패치를 재귀적으로 식별하여 입력 공간 내 지수적으로 많은 선형 영역을 생성한다.
• 네트워크의 파라미터 공간은 결과 함수가 특정한 수의 선형 영역을 갖는 영역들로 분할되며, 이는 파라미터와 함수 복잡도 사이에 구조적인 관계를 시사한다.