[논문 리뷰] A Geometric Approach of Gradient Descent Algorithms in Neural Networks.

Yacine Chitour, Zhenyu Liao외 1명|arXiv (Cornell University)|2018. 11. 08.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 선형 신경망에서 경사 하강법을 분석하기 위한 기하학적 프레임워크를 제안하며, 불변성 성질을 활용하여 전역 최소값으로의 수렴을 증명한다. 정규 초하이퍼볼리시티를 이용해 단일 은닉층 네트워크의 '과적합 추측'을 증명하여, 거의 모든 데이터와 초기 조건에서 경사 하강법이 최소 제곱법과 동치임을 보인다.

ABSTRACT

In this paper, we present an original geometric framework to analyze the convergence properties of gradient descent trajectories in the context of linear neural networks. Built upon a key invariance property induced by the network structure, we propose a conjecture called \emph{overfitting conjecture} stating that, for almost every training data, the corresponding gradient descent trajectory converges to a global minimum, for almost every initial condition. This would imply that, for linear neural networks of an arbitrary number of hidden layers, the solution achieved by simple gradient descent algorithm is equivalent to that of least square estimation. Our first result consists in establishing, in the case of linear networks of arbitrary depth, convergence of gradient descent trajectories to critical points of the loss function. Our second result is the proof of the \emph{overfitting conjecture} in the case of single-hidden-layer linear networks with an argument based on the notion of normal hyperbolicity and under a generic property on the training data (i.e., holding for almost every training data).

연구 동기 및 목표

• 선형 신경망에서 경사 하강법 궤적을 분석하기 위한 기하학적 프레임워크를 개발하는 것.
• 임의의 깊이를 가진 선형 네트워크에서 경사 하강법이 전역 최소값으로 수렴하는지 조사하는 것.
• ‘과적합 추측’을 증명하는 것—즉, 거의 모든 학습 데이터와 초기 조건에서 경사 하강법이 전역 최소값으로 수렴한다는 것.
• 선형 네트워크에서 경사 하강법 해가 최소 제곱 추정과 동치가 되는 조건을 설정하는 것.

제안 방법

• 선형 네트워크 구조에 의해 유도되는 핵심 불변성 성질을 활용해 기하학적 프레임워크를 정의한다.
• 단일 은닉층 네트워크의 임계점 안정성 분석에 정규 초하이퍼볼리시티 개념을 적용한다.
• 미분 기하학과 동역학계 이론을 활용해 경사 유도 궤적의 수렴성을 연구한다.
• 학습 데이터에 일반성 조건을 도입한다 (거의 모든 데이터셋에서 성립함) 이를 통해 강력한 수렴 결과를 보장한다.
• 기하학적 및 위상수학적 도구를 통해 손실 함수의 임계점을 분석하여 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 심층 선형 네트워크에서 거의 모든 초기 조건과 학습 데이터에 대해 경사 하강법이 전역 최소값으로 수렴하는가?
• RQ2 손실 곡면의 기하학적 구조는 왜 선형 네트워크에서 경사 하강법이 나쁜 국소 최소값을 피하는지 설명할 수 있는가?
• RQ3 선형 네트워크에서 경사 하강법이 최소 제곱 추정과 동치가 되는 조건은 무엇인가?
• RQ4 정규 초하이퍼볼리시티는 단일층 선형 네트워크에서 경사 궤적의 안정성과 수렴성에 어떻게 기여하는가?

주요 결과

• 임의의 깊이를 가진 선형 신경망에서 경사 하강법 궤적은 손실 함수의 임계점으로 수렴한다.
• 단일 은닉층 선형 네트워크에서는 학습 데이터에 대한 일반성 조건 하에서 '과적합 추측'이 증명된다.
• 정규 초하이퍼볼리시티 이론을 통해 전역 최소값으로의 수렴이 확립되며, 거의 모든 초기 조건에서 강건함을 보장한다.
• 단일층 선형 네트워크에서 거의 모든 학습 데이터에 대해 경사 하강법으로 얻어진 해는 최소 제곱 추정과 동치이다.