[논문 리뷰] Width Provably Matters in Optimization for Deep Linear Neural Networks

Simon S. Du, Wei Hu|arXiv (Cornell University)|2019. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 31

한 줄 요약

이 논문은 숨겨진 레이어의 너비가 $\widetilde{\Omega}(L \cdot r \cdot d_{\text{out}} \cdot \kappa^3)$ 이상일 경우, Xavier 초기화를 사용한 경사하강법이 깊이 있는 선형 신경망에서 전역 최솟값으로 선형 수렴함을 증명한다. 여기서 $L$은 깊이, $r$은 데이터 질서, $d_{\text{out}}$는 출력 차원, $\kappa$는 조건수이다. 이 결과는 좁은 네트워크에서 관찰되는 지수 수렴 장벽을 너비가 확실히 제거함으로써, 랜덤 초기화 하에서 최초로 다항시간 전역 수렴 보장을 제공한다.

ABSTRACT

We prove that for an $L$-layer fully-connected linear neural network, if the width of every hidden layer is $ ildeΩ(L \cdot r \cdot d_{\mathrm{out}} \cdot κ^3 )$, where $r$ and $κ$ are the rank and the condition number of the input data, and $d_{\mathrm{out}}$ is the output dimension, then gradient descent with Gaussian random initialization converges to a global minimum at a linear rate. The number of iterations to find an $ε$-suboptimal solution is $O(κ\log(\frac{1}ε))$. Our polynomial upper bound on the total running time for wide deep linear networks and the $\exp\left(Ω\left(L ight) ight)$ lower bound for narrow deep linear neural networks [Shamir, 2018] together demonstrate that wide layers are necessary for optimizing deep models.

연구 동기 및 목표

• 랜덤 초기화 하에서 경사하강법이 넓은 깊이 있는 선형 네트워크를 다항시간 내에 최적화할 수 있는지 여부를 해결하기 위해.
• 표준 Xavier 초기화 하에서 전역 수렴을 보장하기 위한 충분한 너비 조건을 규명하기 위해.
• 좁은 네트워크에 대한 지수 하한과 넓은 네트워크에 대한 다항 상한의 부재 사이의 격차를 메우기 위해.
• 데이터, 전역 최솟값, 초기화에 대한 가정 없이, 랜덤 가우시안 초기화를 초과하는 조건 없이도 수렴 보장을 제공하기 위해.

제안 방법

• 경사하강법 경로 동안 변하는 격자 행렬(선조건행렬)을 사용하여 수렴 동역학을 분석한다.
• 랜덤 행렬 이론을 활용해 최적화 과정 전반에 걸쳐 격자 행렬의 고유값에 상한과 하한을 설정한다.
• 소실항의 고차항이 작게 유지됨을 보이기 위해 섭동 분석을 적용한다.
• 동일분포를 가진 가우시안 행렬의 곱의 스펙트럼 분석을 통해 초기화 시 유리한 성질을 검증한다.
• 고유값 경계를 결합하고 잔차 오차에 대한 수축 원리를 적용하여 선형 수렴 속도를 유도한다.
• 시간에 따라 무게 갱신과 오차 항의 경계를 유지하기 위해 부트스트랩 기법을 사용한다.

실험 결과

연구 질문

• RQ1 랜덤 초기화 하에서 경사하강법이 넓은 깊이 있는 선형 네트워크를 다항시간 내에 최적화할 수 있는가?
• RQ2 랜덤 초기화 하에서 전역 수렴을 보장하기 위해 은닉층의 최소 너비는 얼마여야 하는가?
• RQ3 너비가 좁은 깊이 있는 선형 네트워크에서 관찰되는 지수 수렴 장벽을 제거하는가?
• RQ4 데이터, 전역 최솟값, 초기화에 대한 가정 없이, 랜덤 가우시안 가중치를 초과하는 조건 없이도 전역 수렴을 보장할 수 있는가?

주요 결과

• Xavier 초기화를 사용한 경사하강법은 은닉층 너비가 $\widetilde{\Omega}(L \cdot r \cdot d_{\text{out}} \cdot \kappa^3)$ 이상일 경우 전역 최솟값으로 선형 수렴한다.
• $\epsilon$-하위최적 해에 도달하는 데 필요한 반복 수는 $O(\kappa \log(1/\epsilon))$이며, 이는 선형 회귀의 경우와 동일한 속도이다.
• 수렴 속도는 날카롭고, 1층 선형 회귀의 경우에 달성 가능한 최적 속도와 정확히 일치한다.
• 이 결과는 데이터 화이트닝, 전역 최솟값의 구조, 최적값 근처 초기화에 대한 가정 없이도 성립한다.
• 분석은 너비가 확실히 중요하다는 것을 입증한다: 넓은 네트워크에서는 다항시간 최적화가 가능하지만, 좁은 네트워크는 지수 수렴 시간을 겪는다.
• 이 증명은 시간에 따라 변하는 격자 행렬의 스펙트럼 성질을 제어하고 최적화 경로 전반에 걸친 섭동 영향을 경계하는 데 의존한다.