[논문 리뷰] Complexity of Linear Regions in Deep Networks

Boris Hanin, David Rolnick|arXiv (Cornell University)|2019. 01. 25.

Neural Networks and Applications인용 수 54

한 줄 요약

논문은 piecewise linear 네트워크(ReLU와 같은)에서 선형 영역을 개수화하는 수학적 프레임워크를 개발하여 초기화 시 1D 부분공간을 따라 지역의 평균 수가 전체 뉴런 수와 선형적으로 비례하고 지역 경계까지의 평균 거리가 뉴런 수의 역수에 비례한다는 것을 보이며, 학습은 지수적 영역 수에 도달하지 않는다는 것을 시사합니다.

ABSTRACT

It is well-known that the expressivity of a neural network depends on its architecture, with deeper networks expressing more complex functions. In the case of networks that compute piecewise linear functions, such as those with ReLU activation, the number of distinct linear regions is a natural measure of expressivity. It is possible to construct networks with merely a single region, or for which the number of linear regions grows exponentially with depth; it is not clear where within this range most networks fall in practice, either before or after training. In this paper, we provide a mathematical framework to count the number of linear regions of a piecewise linear network and measure the volume of the boundaries between these regions. In particular, we prove that for networks at initialization, the average number of regions along any one-dimensional subspace grows linearly in the total number of neurons, far below the exponential upper bound. We also find that the average distance to the nearest region boundary at initialization scales like the inverse of the number of neurons. Our theory suggests that, even after training, the number of linear regions is far below exponential, an intuition that matches our empirical observations. We conclude that the practical expressivity of neural networks is likely far below that of the theoretical maximum, and that this gap can be quantified.

연구 동기 및 목표

• piecewise linear 네트워크의 선형 영역과 영역 경계로부터 표현력에 대한 엄밀한 척도를 제시한다.
• 초기화 및 학습 중 경계 부피를 정량화하고 선형 영역의 수를 계산하는 수학적 도구를 개발한다.
• 1D 선에서의 평균 영역 수가 깊이가 아닌 총 뉴런 수에 비례하고 경계까지의 거리의 상한이 1/뉴런임을 보인다.
• MNIST에서 이론적 결과를 실증하고 학습 과정에서 영역 수의 안정성을 관찰한다.

제안 방법

• piecewise linear 활성화로 네트워크를 모델링하고 입력 공간을 선형 영역으로 분할한다.
• 경계 집합 B_N에서 그래디언트가 불연속인 부분을 k-코디멘션 컴포넌트 B_N,k로 분해한다.
• bounded K 내에서 B_N,k의 기대(n_in - k)-차원 부피가 뉴런 수에 비례한다는 것을(정리 3) 보인다.
• 선형 1D 선에서의 영역 수와 경계까지의 거리의 명시적 상한을 제공하는 추론(그림 4-5의 코롤러리)을 도출한다.
• He-정규화 초기화와 MNIST 데이터를 사용하여 선을 따라 영역을 개수화하고 경계까지의 거리를 측정한다.
• 영역 경계와 뉴런 그래디언트 및 바이어스의 관계를 코에어-와 야코비 기반 계산으로 연결한다.

실험 결과

연구 질문

• RQ1 초기화 시 1D 입력 선에서 ReLU 네트워크가 가지는 선형 영역의 평균 개수는 얼마나 되는가?
• RQ2 경계 부피가 네트워크 크기와 깊이에 따라 어떻게 비례하는가?
• RQ3 무작위 입력에서 가장 가까운 영역 경계까지의 일반적인 거리는 얼마이며 뉴런 수와 어떤 관계가 있는가?
• RQ4 실제 데이터(MNIST)에서 학습 중 이러한 지역 특성은 어떻게 진화하는가?

주요 결과

• 1D 입력에 대해 선형 선을 따라 평균 선형 영역 수는 뉴런 수에 비례하며 깊이와 무관하다(뉴런에 대해 선형).
• 초기화 시 가장 가까운 경계까지의 평균 거리는 상수/뉴런 수의 스케일로 나타난다.
• 경계 부피 밀도는 유한한 입력 영역에서 뉴런 수(비선형의 분기점들)가 곱해진 비례로 나타난다.
• 실험은 학습 중 영역 수와 경계까지의 거리가 대략 일정하게 유지되며 지수적 최대치에서 멀리 떨어져 있음을 보여준다.
• MNIST에 대한 경험적 시각화는 학습 과정에서 영역이 확장되었다가 수축하며 영역 수가 초기화 규모 근처를 유지함을 확인한다.