[논문 리뷰] Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks

Ohad Shamir|arXiv (Cornell University)|2018. 09. 23.

Stochastic Gradient Optimization Techniques인용 수 27

한 줄 요약

이 논문은 깊이가 $k$인 1차원 선형 신경망에서 경사하강법이 표준적인 랜덤 초기화 조건 하에서도 목적 함수가 볼록하고 허위 국소 최소값이 없음에도 불구하고 수렴하기 위해 지수적으로 많은 반복 횟수—구체적으로 $ε(\tilde{\mathcal{O}}(k))$—가 필요할 수 있음을 보여준다. 이 결과는 깊이 $k$가 클 경우 경사하강법을 통한 깊이 있는 선형 모델 학습에 근본적인 비가역성이 존재함을 드러낸다.

ABSTRACT

We study the dynamics of gradient descent on objective functions of the form $f(\\prod_{i=1}^{k} w_i)$ (with respect to scalar parameters $w_1,\\ldots,w_k$), which arise in the context of training depth-$k$ linear neural networks. We prove that for standard random initializations, and under mild assumptions on $f$, the number of iterations required for convergence scales exponentially with the depth $k$. We also show empirically that this phenomenon can occur in higher dimensions, where each $w_i$ is a matrix. This highlights a potential obstacle in understanding the convergence of gradient-based methods for deep linear neural networks, where $k$ is large.

연구 동기 및 목표

• 랜덤 초기화 조건 하에서 깊이 있는 선형 신경망에서 경사하강법의 유한 시간 수렴 행동을 조사하기 위해.
• 목적 함수에 국소 최소값이 없더라도 경사 기반 방법의 효율적 수렴을 보장하는가를 판단하기 위해.
• 표준 초기화 방법(예: Xavier)이 깊이 있는 선형 모델에서 지수 수렴 시간을 초래할 수 있는가를 분석하기 위해.
• 1차원 설정에서 관찰된 지수 수렴 시간이 고차원 행렬 기반 선형 네트워크로 확장되는가를 탐색하기 위해.

제안 방법

• 각 $w_i$가 스칼라이고 $f$가 볼록이며 미분 가능한 함수인 목적 함수 $F(w_1, \dots, w_k) = f(\prod_{i=1}^k w_i)$에서 경사하강법의 최적화 역학을 분석한다.
• 함수 $f$에 대한 약한 가정 하에서, 랜덤 초기화 조건 하에서 경사하강법이 수렴하기 위해 $\exp(\Omega(k))$회의 반복이 필요하다는 것을 증명한다.
• 이중 단계 분석을 적용한다: 첫째, 가중치의 곱이 지수적으로 많은 단계 동안 0에 가까운 상태로 유지될 수 있음을 보이고, 둘째, 가중치 중 하나가 음수이고 절댓값이 클 경우, 작은 기울기로 인해 수렴이 지연됨을 증명한다.
• 집중 및 변동 분석을 활용하여 가중치 갱신의 크기를 제한하고, 가중치 곱이 0을 횡단할 경우 수렴 속도가 지수적으로 느려짐을 보여준다.
• 실증적으로 각 $w_i$가 행렬인 고차원 설정에서도 유사한 지수 수렴 시간이 발생할 수 있음을 검증한다.
• 역학에서 대칭성과 부호 전환 불변성을 활용하여, 중요한 가중치가 음수가 되면 시스템이 양수 가중치의 거울상과 동일한 동역학을 보이며, 느린 수렴 속도가 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 국소 최소값이 없는 조건 하에서, 랜덤 초기화 조건 하에 깊이 있는 1차원 선형 네트워크에서 경사하강법이 다항 시간 내에 수렴할 수 있는가?
• RQ2 깊이 있는 선형 모델에서 경사하강법의 수렴 시간이 네트워크 깊이 $k$에 따라 어떻게 의존하는가?
• RQ3 스칼라 네트워크에서 관찰된 지수 수렴 시간이 가중치가 행렬인 경우(즉, 고차원 설정에서)에도 유지되는가?
• RQ4 Xavier 초기화나 신뢰도가 높은 초기화와 같은 표준 초기화 방법이 깊이 있는 선형 네트워크에서 경사하강법의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 정규화 초기화에서의 작은 편향이 깊이 있는 선형 모델에서 지수 수렴 시간을 방지할 수 있는가?

주요 결과

• 랜덤 초기화 조건 하에서 깊이 있는 1차원 선형 네트워크에서의 경사하강법는 목적 함수가 볼록하고 허위 국소 최소값이 없음에도 불구하고 $\exp(\Omega(k))$회의 반복이 필요로 하며, 수렴한다.
• 수렴 시간은 깊이 $k$에 대해 지수적으로 증가하며, 함수 $f$에 대한 약한 가정과 Xavier 및 근접한 항등 초기화를 포함한 표준 초기화 방법 조건 하에서도 하한이 유지된다.
• 에프실론 최적 해에 수렴하기 위한 상한으로 $\exp(\tilde{\mathcal{O}}(k)) \cdot \max\{1, \log(1/\epsilon)\}$회의 반복이 확립된다.
• 지수 수렴 시간은 가중치 곱이 0에 가까운 영역에 갇혀 기울기가 사라지는 현상으로 인해 발생한다.
• 실증 결과는 각 가중치가 행렬인 고차원 설정에서도 동일한 지수 수렴 행동이 발생할 수 있음을 시사하며, 이 현상이 스칼라 네트워크에 국한되지 않음을 나타낸다.
• 단 하나의 가중치가 음수이고 절댓값이 클 경우, 역학은 양수 가중치의 거울상과 대칭적이며, 느린 수렴 속도가 유지된다.