[논문 리뷰] On the geometry of solutions and on the capacity of multi-layer neural networks with ReLU activations.

Carlo Baldassi, Enrico M. Malatesta외 1명|arXiv (Cornell University)|2019. 07. 17.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 이중층 ReLU 네트워크의 용량과 해 공간 기하학을 이진 또는 실수형 가중치를 가진 경우에 분석하여, 히든 유닛 수가 증가함에 따라 무한한 저장 용량을 유지하지만, 임계값 네트워크와는 달리 유한한 저장 용량을 유지함을 밝혀냈다. 대변동 이론을 활용하여, 가중치와 입력의 변동에 대해 강건한 희귀하고 조밀한 해 영역을 규명함으로써 딥 러닝의 일반화 및 최적화에 대한 새로운 통찰을 제공한다.

ABSTRACT

Rectified Linear Units (ReLU) have become the main model for the neural units in current deep learning systems. This choice has been originally suggested as a way to compensate for the so called vanishing gradient problem which can undercut stochastic gradient descent (SGD) learning in networks composed of multiple layers. Here we provide analytical results on the effects of ReLUs on the capacity and on the geometrical landscape of the solution space in two-layer neural networks with either binary or real-valued weights. We study the problem of storing an extensive number of random patterns and find that, quite unexpectedly, the capacity of the network remains finite as the number of neurons in the hidden layer increases, at odds with the case of threshold units in which the capacity diverges. Possibly more important, a large deviation approach allows us to find that the geometrical landscape of the solution space has a peculiar structure: while the majority of solutions are close in distance but still isolated, there exist rare regions of solutions which are much more dense than the similar ones in the case of threshold units. These solutions are robust to perturbations of the weights and can tolerate large perturbations of the inputs. The analytical results are corroborated by numerical findings.

연구 동기 및 목표

• ReLU 활성화 함수가 이중층 신경망의 저장 용량에 미치는 영향을 이해하는 것.
• 임계값 네트워크와 비교하여 ReLU 네트워크의 해 공간 기하학적 구조를 조사하는 것.
• 히든 뉴런 수가 증가함에 따라 ReLU 네트워크가 무한한 수의 무작위 패턴을 저장할 수 있는지 여부를 규명하는 것.
• 대변동 기법을 활용하여 가중치와 입력의 변동에 대한 해의 강건성을 분석하는 것.

제안 방법

• 이진 또는 실수형 가중치를 가진 이중층 ReLU 네트워크의 해 공간 기하학에 대한 분석적 연구.
• 희귀하고 조밀한 영역을 특성화하기 위해 대변동 이론의 적용.
• 용량과 해 분포의 차이를 부각하기 위해 ReLU 네트워크와 임계값 네트워크의 비교.
• 해의 존재성과 특성을 확인하기 위해 분석 결과의 수치적 검증.
• 광범위한 패턴 저장 조건 하에서 해의 지형을 모델링하기 위해 통계역학 도구의 사용.

실험 결과

연구 질문

• RQ1 히든 뉴런 수가 증가함에 따라 ReLU 네트워크의 저장 용량이 발산하는가?
• RQ2 ReLU 네트워크의 해 공간 기하학은 임계값 네트워크와 어떻게 다른가?
• RQ3 가중치와 입력의 변동에 강건한 희귀하고 조밀한 해 영역이 존재하는가?
• RQ4 대변동 이론은 ReLU 네트워크의 해 분포를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 히든 뉴런 수가 증가함에 따라 ReLU 네트워크의 저장 용량은 여전히 유한함을 확인하였으며, 이는 임계값 네트워크에서 관찰되는 발산 용량과는 정반대임을 규명함.
• 해의 대부분은 고립되어 있지만 상호 간 거리가 가까워, 해 공간이 분할되어 있음을 시사함.
• 가중치와 입력의 변동에 대해 매우 강건한 희귀하고 조밀한 해 클러스터가 존재함.
• 이러한 조밀한 해 영역은 임계값 네트워크의 해보다 훨씬 더 안정적이며, 일반화 잠재력 향상 가능성을 시사함.
• 수치적 결과는 ReLU 네트워크에서 희귀하고 조밀한 해 클러스터가 존재한다는 분석 예측을 확인함.