[논문 리뷰] SGD Converges to Global Minimum in Deep Learning via Star-convex Path

Yi Zhou, Junjie Yang외 3명|arXiv (Cornell University)|2019. 01. 02.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 22

한 줄 요약

이 논문은 딥러닝에서 확률적 경사하강법(SGD)이 최적화 경관에서 별형볼록 경로를 따라 전진함으로써 전역 최소값으로 수렴한다고 제안한다. 영구적인 손실이 0이 되도록 훈련할 때 SGD가 에포크 단위 및 반복 단위로 별형볼凸 경로를 따라가고 있음을 경험적으로 검증함으로써, 저자들은 SGD가 결정론적으로 전역 최소값으로 수렴함을 증명하며, 자체 정규화되는 분산 감소 효과를 제공함으로써 딥 네트워크에서 SGD의 성공에 대한 새로운 설명을 제시한다.

ABSTRACT

Stochastic gradient descent (SGD) has been found to be surprisingly effective in training a variety of deep neural networks. However, there is still a lack of understanding on how and why SGD can train these complex networks towards a global minimum. In this study, we establish the convergence of SGD to a global minimum for nonconvex optimization problems that are commonly encountered in neural network training. Our argument exploits the following two important properties: 1) the training loss can achieve zero value (approximately), which has been widely observed in deep learning; 2) SGD follows a star-convex path, which is verified by various experiments in this paper. In such a context, our analysis shows that SGD, although has long been considered as a randomized algorithm, converges in an intrinsically deterministic manner to a global minimum.

연구 동기 및 목표

• 비볼凸이며 복잡한 손실 경관에도 불구하고 SGD가 왜 딥 네트워크에서 신뢰성 있게 전역 최소값으로 수렴하는지 설명하기 위해.
• 실제로 SGD의 수렴에 기여하는 기하적 성질인 최적화 경로의 별형볼凸성이라는 성질을 식별하고 형식화하기 위해.
• 전통적인 확률적 또는 정상점 수렴 결과와 대비하여, SGD의 결정론적 수렴 보장을 수립하기 위해.
• 초기화된 손실이 0이 되는 훈련 과정에서 별형볼凸 경로가 자연스럽게 나타나는지, 특히 과다매개변수화된 네트워크에서 어떻게 나타나는지 밝히기 위해.
• SGD가 수렴에 가까워질수록 기울기 분산이 감소하는 자체 정규화 효과가 발생함을 드러내기 위해.

제안 방법

• 에포크 단위 별형볼凸 경로 조건을 제안: 현재 반복점에서 전역 최소값까지의 거리가 에포크가 진행되면서 단조 감소함.
• 반복 단위 별형볼凸 경로를 정의: 각 반복에서 현재 점이 전역 최소값을 중심으로 한 별형볼凸 영역 내에 존재하는 조건으로 정의.
• MLP, AlexNet, Inception 등의 다양한 아키텍처와 MNIST, CIFAR10 등의 데이터셋을 대상으로 경험적 검증을 수행하여, 대부분의 훈련 기간 동안 SGD가 반복 단위 별형볼凸 경로를 따름을 확인.
• 최적화 경로가 별형볼凸일 경우(에포크 또는 반복 단위로), SGD 반복점이 전역 최소값으로 수렴함을 엄밀히 증명.
• 확률적 기울기의 분산을 분석하고, 별형볼凸 경로 조건 하에서 수렴함에 따라 분산이 사라지는 것을 보여, 자체 정규화 효과를 입증.
• 훈련 손실이 0이면 모든 데이터 샘플에 대해 공통된 전역 최소값이 존재하므로, 별형볼凸성 논증이 가능하다는 사실을 활용.

실험 결과

연구 질문

• RQ1 비볼凸 손실 경관에도 불구하고 딥러닝에서 SGD가 전역 최소값으로 수렴할 수 있는가?
• RQ2 SGD의 최적화 경로는 전역 최소값으로의 수렴을 설명할 수 있는 구조적인 기하적 성질 — 구체적으로 별형볼凸성 — 를 보이는가?
• RQ3 반복 단위 별형볼凸 경로는 어떤 조건에서 훈련 과정 중에 나타나며, 이를 달성하는 것과는 어떤 관련이 있는가?
• RQ4 기하적 경로 정규성 조건 하에서, SGD의 수렴을 기대값이나 확률적 수렴이 아닌 결정론적 방식으로 증명할 수 있는가?
• RQ5 별형볼凸 경로는 기울기 분산을 감소시키는 자체 정규화 효과를 유도하는가?

주요 결과

• 최적화 경로가 별형볼凸일 경우, 에포크 단위 및 반복 단위 별형볼凸 경로 조건 하에서 SGD가 전역 최소값으로 수렴함을 증명함.
• 경험적 결과에 따르면, SGD는 대부분의 훈련 시간 동안 반복 단위 별형볼凸 경로를 따르며, 특히 과다매개변수화된 네트워크에서 MNIST 및 CIFAR10 훈련 시 뚜렷하게 나타남.
• 반복 단위 별형볼凸 조건을 만족하는 반복의 비율은 훈련 손실이 이미 거의 0에 가까워진 최종 에포크에서만 감소함을 보여, 경로 정규성이 수렴 직전에만 깨지는 것으로 나타남.
• 훈련 손실이 0이 되지 못하는 경우(예: 좁은 네트워크), 별형볼凸 경로의 존재 비율이 현저히 낮아지며, 이는 경로의 구조와 성공적인 최적화 사이에 관련이 있음을 시사함.
• 별형볼凸 경로 조건 하에서 SGD가 수렴함에 따라 확률적 기울기의 분산이 감소함을 확인하여, 최적화 동역학 내재의 자체 정규화 메커니즘이 드러남.
• 이론적 프레임워크는 딥러닝을 넘어서도 적용 가능하며, 기울기 지배성과 정규성 조건이 만족될 경우 다른 비볼凸 문제에서도 별형볼凸성이 유추되므로, 더 넓은 설정으로의 수렴 보장을 확장할 수 있음.