[논문 리뷰] Characterization of Gradient Dominance and Regularity Conditions for Neural Networks

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|2017. 10. 18.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 27

한 줄 요약

이 논문은 정방형 파arameter를 가진 선형, 선형 잔여, 그리고 한 은닉층을 가진 비선형 신경망에 대해 제곱 손실 하에서 손실 곡면의 이론적 특성화를 제공한다. 이는 전체 질서(global minimizers) 근처에서 경사도 지배성과 정규성 조건을 확립하여, 일阶 최적화 방법의 선형 수렴을 보장한다.

ABSTRACT

The past decade has witnessed a successful application of deep learning to solving many challenging problems in machine learning and artificial intelligence. However, the loss functions of deep neural networks (especially nonlinear networks) are still far from being well understood from a theoretical aspect. In this paper, we enrich the current understanding of the landscape of the square loss functions for three types of neural networks. Specifically, when the parameter matrices are square, we provide an explicit characterization of the global minimizers for linear networks, linear residual networks, and nonlinear networks with one hidden layer. Then, we establish two quadratic types of landscape properties for the square loss of these neural networks, i.e., the gradient dominance condition within the neighborhood of their full rank global minimizers, and the regularity condition along certain directions and within the neighborhood of their global minimizers. These two landscape properties are desirable for the optimization around the global minimizers of the loss function for these neural networks.

연구 동기 및 목표

• 딥 신경망에서 제곱 손실 함수의 기하적 성질, 특히 전역 최소값 근처에서의 성질를 이해하기 위해.
• 얕은 선형 네트워크에서 알려진 전역 최소값 결과를 깊은 선형, 잔여, 그리고 한 은닉층을 가진 비선형 네트워크로 확장하기 위해.
• 전역 최소값 근처에서 국소적 경사도 지배성과 정규성 조건을 확립하여 최적화 수렴을 보장하기 위해.
• 파arameter 행렬이 정방형일 경우 전역 최소값의 명시적이고 다루기 쉬운 특성화를 제공하기 위해.
• 이론적 최적화 보장을 위해 전역 최소값에서의 헤시안 행렬의 구조와 곡률 성질을 분석하기 위해.

제안 방법

• 깊은 선형, 선형 잔여, 그리고 한 은닉층을 가진 비선형 네트워크에서 제곱 손실의 전역 최소값에 대한 명시적 폐형 표현을 유도한다.
• 행렬 미적분과 벡터화 기법을 적용하여 전역 최소값에서 손실 함수의 그래디언트와 헤시안 행렬을 계산한다.
• 행렬 미분의 합성 법칙과 연쇄 법칙을 사용하여 헤시안의 구조를 분석하고, 특히 전역 최소값에서의 헤시안을 분석한다.
• 전역 최소값 근처에서 $ f(x) - f(x^*) \leq \lambda \|\nabla f(x)\|^2 $ 를 보여줌으로써 경사도 지배 조건을 확립한다.
• 수렴 보장을 위해 $ \langle x - x^*, \nabla f(x) \rangle \geq \alpha \|\nabla f(x)\|^2 + \beta \|x - x^*\|^2 $ 를 유도한다.
• 헤시안을 행렬의 곱 $ \mathbf{H}^\top \mathbf{H} $ 로 표현하여, 전역 최소값 근처에서 정의가 양수임과 곡률 제어 성질을 보여준다.

실험 결과

연구 질문

• RQ1 깊은 선형, 선형 잔여, 그리고 한 은닉층을 가진 비선형 네트워크에서 정방형 가중치 행렬을 가진 경우 전역 최소값의 명시적 형태는 무엇인가?
• RQ2 이 네트워크 유형들에 대해 전역 최소값 근처에서 경사도 지배 조건이 성립하는가?
• RQ3 전역 최소값 근처에서 정규성 조건이 만족되는가? 이는 일阶 방법의 선형 수렴을 보장한다.
• RQ4 전역 최소값에서의 헤시안 구조와 곡률 성질은 최적화 역학에 어떻게 영향을 미치는가?
• RQ5 선형, 잔여, 비선형 아키텍처 전반에 걸쳐 제곱 손실의 곡면 성질을 통일적으로 특성화할 수 있는가?

주요 결과

• 깊은 선형 네트워크의 전역 최소값은 동치 클래스를 제외한 명시적 형태로 유일하게 특성화되며, 모든 경우가 전순위(full rank)이다.
• 선형 잔여 네트워크와 한 은닉층을 가진 비선형 네트워크의 경우, 전순위 전역 최소값이 특성화되며, 이는 이전 얕은 네트워크 결과를 일반화한다.
• 세 네트워크 유형 모두 전역 최소값 근처에서 경사도 지배 조건이 성립하며, 양수 상수 $ \lambda $ 가 존재한다.
• 전역 최소값 근처에서 정규성 조건이 만족되며, 양수 상수 $ \alpha $ 와 $ \beta $ 가 존재하여 반복의 선형 수렴을 보장한다.
• 전역 최소값에서의 헤시안은 $ \nabla^2 g(\mathbf{W}^*) = \mathbf{H}^\top \mathbf{H} $ 로 표현되며, 정의가 양수임과 곡률 제어 성질을 확인한다.
• 분석을 통해 그라디언트 디센트와 같은 최적화 알고리즘이 전역 최소값 근처에서 이러한 곡면 성질 덕분에 선형 수렴함을 확인한다.