[논문 리뷰] On the Global Convergence of Training Deep Linear ResNets

Difan Zou, Philip M. Long외 1명|arXiv (Cornell University)|2020. 03. 02.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 고정된 입력 및 출력 선형 변환을 갖는 깊은 선형 잔차 신경망(ResNets)을 훈련하기 위한 경사 하강법(GD)과 확률적 경사 하강법(SGD)의 전역 수렴성을 확립한다. 영향력 있는 조건 하에 은닉 가중치를 0으로 초기화할 경우, 두 알고리즘 모두 전역 최소값으로 수렴함을 증명하며, 특히 네트워크 폭이 $ m = \Omega(kr\kappa^2) $를 만족할 경우 가우시안 랜덤 변환이 수렴을 보장함을 보여주며, 이는 이전의 폭 요구 조건보다 $ O(\kappa L) $의 요인으로 향상된 결과이다.

ABSTRACT

We study the convergence of gradient descent (GD) and stochastic gradient descent (SGD) for training $L$-hidden-layer linear residual networks (ResNets). We prove that for training deep residual networks with certain linear transformations at input and output layers, which are fixed throughout training, both GD and SGD with zero initialization on all hidden weights can converge to the global minimum of the training loss. Moreover, when specializing to appropriate Gaussian random linear transformations, GD and SGD provably optimize wide enough deep linear ResNets. Compared with the global convergence result of GD for training standard deep linear networks (Du & Hu 2019), our condition on the neural network width is sharper by a factor of $O(κL)$, where $κ$ denotes the condition number of the covariance matrix of the training data. We further propose a modified identity input and output transformations, and show that a $(d+k)$-wide neural network is sufficient to guarantee the global convergence of GD/SGD, where $d,k$ are the input and output dimensions respectively.

연구 동기 및 목표

• 깊은 선형 ResNets 훈련에서 SGD에 대한 이론적 수렴 보장을 제공하지 못하는 문제를 다룸.
• 입력 및 출력 변환에 대한 약한 조건 하에 깊은 선형 ResNets에 대한 GD와 SGD의 전역 수렴성을 확립함.
• 기존의 표준 깊은 선형 네트워크에 비해 더 날카로운 폭 요구 조건을 제공함.
• 스토하스틱 그래디언트가 존재할 경우 GD와 SGD의 최적화 궤적을 분석함으로써 불확실성을 고려함.
• 전역 수렴을 보장하는 $ (d+k) $-폭 네트워크를 위한 수정된 항등 입력/출력 변환을 제안함.

제안 방법

• 고정된 선형 입력 및 출력 변환을 갖는 $ L $-은닉층 깊은 선형 ResNets의 훈련 목표를 수립함.
• 경사 흐름 분석을 활용하고 최적화 궤적을 따라 제약된 그래디언트 범위와 스무쓰니스 성질을 유도함.
• 가중치 행렬의 스펙트럼 노름을 제어함으로써, 스토하스틱 그래디언트가 존재하더라도 이러한 성질이 GD와 SGD 모두에 대해 유지됨을 증명함.
• 행렬 섭동 이론과 프로베니우스 노름 한계를 적용하여 근접한 가중치 행렬 간의 손실 차이를 분석함.
• 제닝스 부등식과 행렬 노름 부등식을 사용하여 손실 함수의 테일러 전개에서 두 번째 항을 한계화함.
• 전역 수렴을 위해 필요한 네트워크 폭을 $ d+k $로 줄이는 데 기여하는 수정된 항등 입력/출력 변환을 도입함.

실험 결과

연구 질문

• RQ1 입력 및 출력 변환에 대해 어떤 조건에서 깊은 선형 ResNets에 대한 GD가 전역적으로 수렴하는가?
• RQ2 SGD는 깊은 선형 ResNets에서 전역적으로 수렴할 수 있으며, 어떤 조건에서 그러한 수렴이 보장되는가?
• RQ3 이 논문에서 제시된 전역 수렴을 위한 네트워크 폭 요구 조건은 기존의 표준 깊은 선형 네트워크 연구와 비교해 어떻게 다를까?
• RQ4 가우시안 랜덤 선형 변환이 충분히 넓은 깊은 선형 ResNets에서 GD와 SGD의 전역 수렴을 보장할 수 있는가?
• RQ5 깊이에 관계없이 단지 $ d+k $ 폭만으로도 전역 수렴을 보장할 수 있는 변환 기법이 존재하는가?

주요 결과

• 입력 및 출력 변환이 논문에서 유도한 일반 조건을 만족할 경우, 은닉 가중치를 0으로 초기화한 GD와 SGD는 전역 최소값으로 전역 수렴함.
• 적절한 가우시안 랜덤 선형 변환을 사용할 경우, 네트워크 폭이 $ m = \Omega(kr\kappa^2) $를 만족하면 고정된 확률로 GD가 $ O(\kappa \log(1/\epsilon)) $ 반복 이내에 $ \epsilon $-오차 이내로 전역 최소값으로 수렴함.
• 기존의 표준 깊은 선형 네트워크 연구에 비해 필요한 네트워크 폭 요구 조건이 $ O(\kappa L) $의 요인으로 향상되어, 조건이 훨씬 더 날카로워짐.
• 수정된 항등 입력 및 출력 변환을 사용할 경우, $ d+k $-폭 네트워크에서도 전역 수렴이 보장되며, 여기서 $ d $ 와 $ k $ 는 각각 입력 및 출력 차원이다.
• 분석을 통해 GD와 SGD의 전체 최적화 궤적 동안 제약된 그래디언트 범위와 스무쓰니스 성질이 유지됨을 증명함으로써, 스트로하스틱성에도 불구하고 전역 수렴이 가능함을 입증함.
• 수치 실험과 이론적 한계는 깊이에 관계없이 폭 조건이 만족될 경우 수렴 속도가 독립적임을 확인함으로써, 넓이가 훈련 안정성에 미치는 역할을 부각함.