[논문 리뷰] Topology and Geometry of Half-Rectified Network Optimization

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|2016. 11. 04.

Stochastic Gradient Optimization Techniques인용 수 32

한 줄 요약

이 논문은 딥 하프-레크티파이드 신경망에서 손실 표면의 위상수학적 구조와 기하학적 성질을 조사하며, 데이터 분포와 과다매개변수화에 대한 약한 조건 하에서 단일층 ReLU 네트워크가 渐近적으로 연결되어 있음을 증명한다. 이는 기하적 길이의 정규화 정도를 추정하기 위한 동적 프rogram밍 알고리즘을 제안하며, 훈련 전반에 걸쳐 손실 표면이 거의 볼록성을 유지하고, 낮은 손실 수준에서 곡률이 증가함을 보여주어 실무에서 SGD의 성공을 설명한다.

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

연구 동기 및 목표

• 비볼록 손실 표면에도 불구하고 확률적 경사하강법(SGD)이 딥 ReLU 네트워크 훈련에 성공하는 이유를 이해하는 것.
• 반직선 신경망에서 손실 수준 집합의 위상적 구조, 특히 연결성을 공식적으로 측정하는 것.
• 데이터 분포와 모델 과다매개변수화가 손실 표면 기하학에 어떻게 동시에 영향을 미치는지 분석하는 것.
• 대규모 딥 네트워크에서 수준 집합의 기하학적 정규성을 추정하기 위한 효율적인 알고리즘을 개발하는 것.
• 손실 표면이 높은 정확도에 이르기까지 연결되어 있고 거의 볼록성을 유지하며, 낮은 손실 수준에서 곡률이 증가하는 것으로 경험적으로 검증하는 것.

제안 방법

• 매개변수 변동에 대한 경계와 특징 공분산 구조를 이용해 단일층 ReLU 네트워크에서 수준 집합의 渐近적 연결성을 증명한다.
• 수준 집합 내 기하학적 길이를 근사하기 위한 동적 프로그래밍 기반 알고리즘을 도입하여 기하학적 정규성을 추정한다.
• 중규모 CNN 및 RNN에서 연결된 성분을 탐색하고 기하학적 길이를 추정하기 위해 탐욕적이고 확장 가능한 접근 방식을 사용한다.
• MNIST, CIFAR-10, Penn Treebank 데이터셋에 알고리즘를 적용하여 다양한 아키텍처에서 손실 표면 기하학을 분석한다.
• 비볼록성의 Proxy로 정규화된 기하학적 길이를 경험적으로 측정하며, 낮은 손실 수준에서 거듭제곱 법칙에 따라 증가하는 경향을 관찰한다.
• 작은 매개변수 변화가 특징 공분산에 작은 변화를 유도한다는 가정에 기반하며, 다층 네트워크로 확장된다.

실험 결과

연구 질문

• RQ1 데이터 분포와 모델 과다매개변수화에 대해 어떤 조건에서 단일층 ReLU 네트워크의 수준 집합이 연결되어 유지되는가?
• RQ2 훈련 중에 손실 수준 집합의 기하학적 정규성은 어떻게 변화하며, 이는 최적화 역학에 어떤 함의를 갖는가?
• RQ3 실제 딥 러닝 작업(예: 이미지 분류, 언어 모델링)이 손실 표면에서 거의 볼록한 행동을 얼마나 잘 보여주는가?
• RQ4 확장 가능한 알고리즘이 대규모 네트워크에서 고차원 손실 표면의 연결성과 곡률을 효율적으로 추정할 수 있는가?
• RQ5 데이터의 매끄러움과 모델 과다매개변수화의 상호작용은 열악한 국소 최소값의 부재에 어떻게 영향을 미치는가?

주요 결과

• 데이터 분포와 과다매개변수화에 대한 약한 조건 하에서 단일층 ReLU 네트워크는 명시적인 경계를 통해 상호 간의 상호보완적 관계를 정량화하며 渐近적으로 연결되어 있다.
• 고손실 수준에서는 수준 집합의 정규화된 기하학적 길이가 낮아 거의 볼록한 행동을 나타내며, 낮은 손실 수준에서 약한 거듭제곱 법칙에 따라 증가한다.
• MNIST에 대한 경험적 결과는 최첨단 정확도에 이르러도 낮은 정규화된 길이를 보이며, MNIST가 매우 볼록하다는 민간 신념을 지지한다.
• CIFAR-10은 80% 테스트 정확도에서도 상당한 비볼록성을 보이며, 임계 손실 값 이하에서 정규화된 길이가 급격히 증가한다.
• Penn Treebank에서의 LSTM 모델은 동일한 정성적 행동을 보이며, 높은 퍼플렉서티에서는 낮은 비볼록성, 낮은 퍼플렉서티에서는 곡률 증가를 보여, 다양한 아키텍처로의 일반화를 확인한다.
• 에너지가 감소함에 따라 손실 표면 기하학은 지수적으로 더 곡률이 높아지며, 실무에서 관찰된 낮은 곡률의 흡인자와 일치한다.