[논문 리뷰] Topology and Geometry of Deep Rectified Network Optimization Landscapes

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|2016. 11. 04.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 단순화된 가정 없이 딥 ReLU 네트워크의 최적화 지형을 조사하며, 반직선 단일층 네트워크가 온건한 조건 하에서 渐진적으로 연결되어 있음을 증명한다. 데이터의 스무쓰함과 모델의 과다 매개변수화 간의 상호작용이 지형 기하학을 결정하며, 훈련 과정에서 수준 집합은 여전히 연결되어 있지만 점점 더 굽어지게 된다—비볼록성에도 불구하고 거의 볼록성과 유사한 행동을 보임을 시사한다.

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

연구 동기 및 목표

• 평균장 또는 스핀 거품 근사와 같은 단순화된 가정 없이 딥 ReLU 네트워크의 손실 표면의 위상적 구조를 이해하기 위해.
• ReLU 네트워크가 선형 네트워크와 본질적으로 다른 최적화 지형을 가진다는 오래된 통념을 공식적으로 정량화하기 위해.
• 데이터 분포의 스무쓰함과 모델의 과다 매개변수화가 함께 손실 지형의 기하학을 어떻게 형성하는지 분석하기 위해.
• 수준 집합의 기하학을 통해 경사하강법의 조건수를 연구하고, 대규모 네트워크에서 그 규칙성을 효율적으로 추정하는 알고리즘을 개발하기 위해.
• 훈련 과정 全 과정에서 수준 집합의 연결성과 굽힘의 변화를 경험적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 데이터 분포와 모델 과다 매개변수화에 대한 온건한 조건 하에서 반직선 단일층 네트워크가 渐진적으로 연결되어 있음을 증명한다.
• 데이터 스무쓰함과 과다 매개변수화 간의 상호작용이 지형 위상 구조에 미치는 영향을 정량화하기 위해 명시적 경계를 도출한다.
• 기하학적 성질을 활용하여 대규모 딥 네트워크에서 수준 집합의 규칙성을 효율적으로 추정하는 알고리즘을 제안한다.
• 훈련 에포크 전반에 걸쳐 수준 집합의 연결성과 굽힘을 추적하여 기하학적 변화를 평가하는 경험적 평가를 수행한다.
• 수준 집합의 기하학을 통해 경사하강법의 조건수와 수렴 행동을 평가하기 위해 하위수준 집합의 기하학적 분석을 활용한다.
• 이론적 및 경험적 분석은 특히 낮은 손실 영역 근처에서 에너지 지형의 구조에 집중한다.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크의 최적화 지형은 위상적으로 딥 선형 네트워크의 그것과 어떻게 다를까?
• RQ2 ReLU 네트워크에서 악성 국소 최소값을 방지하기 위해 데이터 분포와 모델 아키텍처에 어떤 조건이 필요한가?
• RQ3 데이터 스무쓰함과 과다 매개변수화 간의 상호작용이 손실 지형의 연결성에 어떤 영향을 미치는가?
• RQ4 ReLU 네트워크에서 훈련 과정 全 과정 동안 손실 함수의 수준 집합은 연결되어 있는가?
• RQ5 훈련이 낮은 손실 영역으로 진행됨에 따라 수준 집합의 굽힘이 어떻게 변화하는가?

주요 결과

• 반직선 단일층 네트워크는 데이터 분포와 모델 과다 매개변수화에 대한 온건한 가정 하에서 渐진적으로 연결되어 있다.
• 명시적 경계는 데이터 스무쓰함과 과다 매개변수화 간의 상호작용이 지형 기하학적 구조를 어떻게 결정하는지 드러낸다.
• 경험적 결과는 수준 집합이 훈련 전 단계에서 모두 연결되어 있음을 보여주며, 거의 볼록성과 유사한 행동을 시사한다.
• 에너지 수준이 감소함에 따라 수준 집합의 굽힘이 지수적으로 증가하며, 실무에서 관찰되는 매우 낮은 굽힘의 흡인 영역과 일치한다.
• 제안된 알고리즘은 대규모 딥 네트워크에서 수준 집합의 규칙성을 효율적으로 추정할 수 있어 최적화 역학의 기하학적 분석을 가능하게 한다.
• 이 연구는 딥 러닝 분야에서 오랫동안 널리 퍼진 두 가지 통념을 공식화하고 정량화한다: 선형 네트워크와 ReLU 네트워크 간의 위상적 차이, 그리고 데이터 스무쓰함과 과다 매개변수화가 손실 지형 형성에 미치는 역할.