[논문 리뷰] Continuous vs. Discrete Optimization of Deep Neural Networks

Omer Elkabetz, Nadav Cohen|arXiv (Cornell University)|2021. 07. 14.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크에서 연속적인 기울기 유동과 이산적인 기울기 하강 간의 공식적 연결을 수립하며, 동일한 활성화 조건 하에서 기울기 유동 궤적은 유리한 곡률 덕분에 기울기 하강에 의해 잘 근사됨을 보여준다. 주요 기여는 무작위 초기화 하에서 깊이 있는 선형 네트워크에서 기울기 하강이 전역 최소값으로 수렴하는 수렴 보장을 제공하며, 이는 연속 분석에서의 번역을 통해 유도된다.

ABSTRACT

Existing analyses of optimization in deep learning are either continuous, focusing on (variants of) gradient flow, or discrete, directly treating (variants of) gradient descent. Gradient flow is amenable to theoretical analysis, but is stylized and disregards computational efficiency. The extent to which it represents gradient descent is an open question in the theory of deep learning. The current paper studies this question. Viewing gradient descent as an approximate numerical solution to the initial value problem of gradient flow, we find that the degree of approximation depends on the curvature around the gradient flow trajectory. We then show that over deep neural networks with homogeneous activations, gradient flow trajectories enjoy favorable curvature, suggesting they are well approximated by gradient descent. This finding allows us to translate an analysis of gradient flow over deep linear neural networks into a guarantee that gradient descent efficiently converges to global minimum almost surely under random initialization. Experiments suggest that over simple deep neural networks, gradient descent with conventional step size is indeed close to gradient flow. We hypothesize that the theory of gradient flows will unravel mysteries behind deep learning.

연구 동기 및 목표

• 딥 러닝에서 연속적인 기울기 유동과 이산적인 기울기 하강 간의 이질성에 대해 공식적으로 분석하는 것.
• 기울기 하강이 기울기 유동을 얼마나 잘 근사하는지 결정하는 조건을 규명하는 것.
• 연속적인 기울기 유동 분석에서 유도된 수렴 보장을 이산적인 기울기 하강 설정으로 이식하는 것.
• 무작위 초기화 하에서 깊이 있는(3+층) 고정 크기 네트워크에서 기울기 하강에 대한 첫 번째 효율적인 수렴 보장을 제공하는 것.
• 표준 훈련 설정 하에서 기울기 하강 궤적이 기울기 유동과 얼마나 가까운지 실증적으로 검증하는 것.

제안 방법

• 기울기 하강을 기울기 유동의 초기치 문제에 대한 수치적 근사로 간주한다.
• 수치 분석에서 기본 정리를 적용하여 근사 오차를 곡률, 특히 궤적을 따라 최소 헤시안 고유값으로 제한한다.
• 근사적으로 0에 가까운 초기화 하에서 동일한 활성화(예: ReLU)를 가진 깊이 있는 선형 네트워크를 분석한다.
• 기울기 유동 궤적의 유리한 곡률—특히 최소 헤시안 고유값이 0에서 멀리 떨어져 있음—을 통해 기울기 하강이 강력한 근사로 이어짐을 보장한다.
• 기울기 유동 분석에서 기존에 유도된 깊이 있는 선형 네트워크에 대한 수렴 결과를 이산 수렴 보장으로 번역한다.
• 프로베니우스 노름 부등식과 변동 분석을 사용하여 이산적이고 연속적인 궤적 간의 이격을 제한한다.

실험 결과

연구 질문

• RQ1 기울기 하강은 깊이 있는 신경망에서 기울기 유동을 어느 정도 잘 근사하는가?
• RQ2 곡률—특히 최소 헤시안 고유값—은 기울기 하강과 기울기 유동 간의 근사 품질을 결정하는 데 어떤 역할을 하는가?
• RQ3 연속적인 기울기 유동에 대해 유도된 수렴 결과를 깊이 있는 네트워크에서 이산적인 기울기 하강으로 엄밀히 이식할 수 있는가?
• RQ4 유한한 스텝 크기로 기울기 하강이 깊이 있는 선형 네트워크에서 전역 최소값으로 효율적으로 수렴하는 조건은 무엇인가?
• RQ5 간단한 딥 러닝 설정에서 기울기 하강의 실증적 궤적이 기울기 유동과 얼마나 가까운가?

주요 결과

• 기울기 하강은 중간 크기의 스텝 크기로 동일한 활성화 조건을 가진 깊이 있는 신경망에서 궤적의 유리한 곡률 덕분에 기울기 유동을 잘 근사한다.
• 깊이 있는 선형 네트워크에서 기울기 유동 궤적을 따라 최소 헤시안 고유값은 0에서 멀리 떨어져 유지되며, 특히 수렴 근처에서 강력한 근사 보장을 제공한다.
• 이 논문은 무작위, 데이터에 의존하지 않는 초기화 하에서 깊이 있는(3+층) 고정 크기 네트워크에서 기울기 하강이 전역 최소값으로 효율적으로 수렴하는 데 있어 첫 번째 수렴 보장을 제공한다.
• 실증 결과는 스텝 크기를 줄일수록 기울기 하강 궤적이 거의 변화하지 않음을 보여주며, 이는 이론적 근사 주장에 대한 지지를 받는다.
• 기울기 하강과 기울기 유동 간의 근사 오차는 최소 헤시안 고유값에 대해 지수적으로 민감하며, 다른 요소(부드러움, 리프슈츠 조건)는 더 약한 영향을 미친다.
• 이중적인 가중치 간의 이격에 대한 유도된 경계는 √(n⁵ϵ)/(1−√(n⁵ϵ)) 비례하며, 여기서 ϵ은 초기화 노이즈를 제어하는 요소이고 n은 네트워크의 깊이이다.