[논문 리뷰] Global Convergence of Gradient Descent for Deep Linear Residual Networks

Lei Wu, Qingcan Wang외 1명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 심층 선형 잔여망에서 경사하강법의 전역 수렴을 가능하게 하기 위해 제로대칭(Zero-Asymmetric, ZAS) 초기화를 도입한다. ZAS 하에서 경사하강법은 깊이 $L$에 대해 다항수렴적으로 $O(L^3 \log(1/\varepsilon))$ 반복 내에 $\varepsilon$-최적 해에 도달함을 증명한다. 이는 표준 초기화 방식에서 관찰되는 지수시간 수렴과는 대조적으로, 깊이 $L$에 대해 다항적으로 스케일링됨을 의미한다.

ABSTRACT

We analyze the global convergence of gradient descent for deep linear residual networks by proposing a new initialization: zero-asymmetric (ZAS) initialization. It is motivated by avoiding stable manifolds of saddle points. We prove that under the ZAS initialization, for an arbitrary target matrix, gradient descent converges to an $\varepsilon$-optimal point in $O\left( L^3 \log(1/\varepsilon) ight)$ iterations, which scales polynomially with the network depth $L$. Our result and the $\exp(\Omega(L))$ convergence time for the standard initialization (Xavier or near-identity) \cite{shamir2018exponential} together demonstrate the importance of the residual structure and the initialization in the optimization for deep linear neural networks, especially when $L$ is large.

연구 동기 및 목표

• 표준 초기화 방식 하에서 심층 선형 잔여망에서 경사하강법의 열 劣한 최적화 역학을 해결하기 위해.
• 표준 초기화 방식이 깊은 네트워크에서 지수시간 수렴을 유도하는 이유를 규명하기 위해.
• 안정한 매니폴드를 피하고 전역 수렴을 가능하게 하는 새로운 초기화 기법을 설계하기 위해.
• 네트워크 깊이 $L$에 대해 다항적으로 스케일링되는 이론적 수렴 속도를 확립하기 위해.
• 잔여 구조와 초기화가 심층 네트워크 최적화에 미치는 영향을 규명하기 위해.

제안 방법

• 잔여 연결은 0으로 초기화하고 주 경로는 작은 무작위 가중치로 초기화하는 제로대칭(ZAS) 초기화를 제안한다.
• 심층 선형 잔여망에서 ZAS 초기화 하의 경사하강법 최적화 궤적을 분석한다.
• 새로운 분석 프레임워크를 사용하여 ZAS가 표준 초기화가 갇히는 안정한 매니폴드를 피함을 보여준다.
• ZAS 하에서 $\varepsilon$-최적 해에 도달하기 위한 반복 수의 수렴 한계를 $O(L^3 \log(1/\varepsilon))$로 설정한다.
• 표준 초기화(Xavier 또는 근접 항등행렬)와의 수렴 행동을 비교하여, 이 경우 $\exp(\Omega(L))$ 수준의 수렴 시간을 보임을 밝힌다.
• 선형 대수학과 동역학 시스템 분석을 활용하여 ZAS 하에서의 전역 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 표준 초기화 하에서 심층 선형 잔여망에서 경사하강법이 전역 수렴할 수 있는가?
• RQ2 어떤 초기화 기법이 심층 선형 잔여망에서 다항시간 수렴을 가능하게 하는가?
• RQ3 왜 표준 초기화 방식이 깊은 네트워크에서 지수적으로 느린 수렴을 유도하는가?
• RQ4 잔여 구조가 초기화와 어떻게 상호작용하여 최적화 역학에 영향을 주는가?
• RQ5 적절히 설계된 초기화 하에서 심층 선형 네트워크의 경사하강법 이론적 수렴 속도는 무엇인가?

주요 결과

• 제로대칭(ZAS) 초기화 하에서 경사하강법은 $O(L^3 \log(1/\varepsilon))$ 반복 내에 $\varepsilon$-최적 해에 수렴한다.
• 수렴 속도는 깊이 $L$에 대해 다항적으로 스케일링되며, 이는 표준 Xavier 또는 근접 항등행렬 초기화 하에서 관찰되는 $\exp(\Omega(L))$ 수렴 시간과 대비된다.
• ZAS 초기화는 안정한 매니폴드를 피함으로써 표준 설정에서 느린 수렴을 유발하는 원인을 제거한다.
• 이 결과는 잔여 구조와 적절한 초기화가 심층 선형 네트워크에서 효율적 최적화를 가능하게 한다는 점을 시사한다.
• 이론적 분석을 통해 비선형성이 없더라도 적절한 초기화 하에서는 전역 수렴이 달성 가능함을 확인한다.
• 이 연구는 새로운 초기화 기법 하에서 심층 선형 잔여망에서 경사하강법의 증명 가능한 수렴 보장을 수립한다.