[논문 리뷰] A Convergence Analysis of Gradient Descent for Deep Linear Neural Networks

Sanjeev Arora, Nadav Cohen외 2명|arXiv (Cornell University)|2018. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 113

한 줄 요약

본 논문은 화이트닝된 데이터에 대해 2-노름 손실로 학습된 심층 선형 네트워크에서 경사하강법이 글로벌 최솟값으로 선형적으로 수렴함을, 근사적 균형성(balancedness)과 결손 여유(deficiency margin) 초기화 하에서 보인다.

ABSTRACT

We analyze speed of convergence to global optimum for gradient descent training a deep linear neural network (parameterized as $x \mapsto W_N W_{N-1} \cdots W_1 x$) by minimizing the $\ell_2$ loss over whitened data. Convergence at a linear rate is guaranteed when the following hold: (i) dimensions of hidden layers are at least the minimum of the input and output dimensions; (ii) weight matrices at initialization are approximately balanced; and (iii) the initial loss is smaller than the loss of any rank-deficient solution. The assumptions on initialization (conditions (ii) and (iii)) are necessary, in the sense that violating any one of them may lead to convergence failure. Moreover, in the important case of output dimension 1, i.e. scalar regression, they are met, and thus convergence to global optimum holds, with constant probability under a random initialization scheme. Our results significantly extend previous analyses, e.g., of deep linear residual networks (Bartlett et al., 2018).

연구 동기 및 목표

• 왜 경사 기반 최적화가 심층 선형 네트워크에서 성공할 수 있는지 동기를 부여하고 분석한다.
• 임의의 깊이에 대해 경사하강법이 글로벌 최솟값으로 선형 속도로 수렴하는 조건을 확립한다.
• 수렴을 보장하는 초기화 특성(균형성 및 결손 여유)을 특징화한다.
• 수렴 경로 기반 분석을 잔차 네트워크를 넘어 일반적인 심층 선형 구조로 확장한다.

제안 방법

• 끝에서 끝까지의 가중치 W_{1:N} = W_N ... W_1 로 심층 선형 네트를 모델링하고 화이트닝된 데이터에 대해 L^N 손실을 최소화한다.
• 훈련을 목표 행렬 Phi와의 프 로베니우스 거리 최소화로 바꾼다: L^1(W)=0.5||W- Phi||_F^2, 여기서 Phi = Lambda_{yx}.
• 근사적 균형성(W_{j+1}^T W_{j+1} ≈ W_j W_j^T)과 결손 여유( Phi까지의 거리가 랭크 결손에서 벗어나도록 한정되는 성질)를 도입하고 형식화한다.
• W_{1:N}의 최소 특이값 sigma_min(W_{1:N})가 0으로부터 멀리 떨어져 있을 때 매 스텝마다 L^1(W_{1:N})가 감소한다는 경로 기반 하강 보조정리를 증명한다.
• 명시적 초기화 조건과 적절한 학습률 하에서 선형 속도 수렴 정리를 도출하고, O(log(1/epsilon)) 반복 수를 얻는다.

실험 결과

연구 질문

• RQ1 깊은 선형 네트워크에서 초기화 조건 아래에서 2-노름 손실로 학습될 때 경사하강법이 글로벌 최소값으로 수렴하는가?
• RQ2 숨겨진 계층의 차원, 초기화 균형성 및 결손 여유가 임의의 네트워크 깊이에서 수렴 속도와 보장에 어떤 영향을 미치는가?
• RQ3 경로 기반 분석이 얕은 네트워크나 잔차-선형 설정을 넘어 일반적인 심층 선형 아키텍처의 수렴 결과를 확장할 수 있는가?
• RQ4 확률적 초기화 하에서 스칼라 회귀(출력 차원 1)가 수렴에 필요한 조건을 만족할 확률은 어떠한가?

주요 결과

• 경사하강법은 (i) 숨겨진 차원이 입력/출력 차원 중 최소치 이상이고, (ii) 초기화가 대략적으로 균형 잡혀 있으며, (iii) 초기 손실이 어떤 랭크 결손해의 손실보다 작을 때 글로벌 최소값으로 선형 속도로 수렴한다.
• 이 초기화 조건은 필요하며, 이를 위반하면 수렴 실패로 이어질 수 있다.
• 스칼라 회귀(출력 차원 1)의 경우 일반적인 무작위 거의 0 근처 초기화 하에서 요구되는 초기화 조건이 상수 확률로 충족된다.
• 깊은 선형 잔차 네트워크에 대한 기존 결과를 임의의 깊이와 너비 구성으로 일반화한다.
• 결손 여유는 모든 점이 부분 수준 집합 내에서 엔드투엔드 매핑이 전랭크임을 시사하여, 근사적 균형성과 결합될 때 수렴 보장을 강화한다.
• 정리 1은 ε 정확도를 달성하기 위한 명시적 반복 한계 T ≥ (1/(η c^{2(N-1)/N})) log(ℓ(0)/ε) 를 제공하며, 균형과 여유가 하강을 보장한다.