[논문 리뷰] Gradient descent aligns the layers of deep linear networks

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2018. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 22

한 줄 요약

이 논문은 선형 가중치를 갖는 딥 리니어 네트워크에서 선형적으로 분리 가능한 데이터에 대해 경사 하강법과 경사 유동이 위험 수렴을 0으로 이끌고, 계층 정렬을 통한 암묵적 정규화를 유도함을 보여준다: 각 가중치 행렬은 점점이 1차원이 되고, 인접한 계층은 방향이 일치하게 되어 결국 전체 네트워크의 선형 예측기가 최대 마진 해법으로 수렴하게 된다. 이 정렬 현상은 추가적인 가정 없이 최적화 동역학에서 자연스럽게 발생함을 보여준다.

ABSTRACT

This paper establishes risk convergence and asymptotic weight matrix alignment --- a form of implicit regularization --- of gradient flow and gradient descent when applied to deep linear networks on linearly separable data. In more detail, for gradient flow applied to strictly decreasing loss functions (with similar results for gradient descent with particular decreasing step sizes): (i) the risk converges to 0; (ii) the normalized i-th weight matrix asymptotically equals its rank-1 approximation $u_iv_i^{ op}$; (iii) these rank-1 matrices are aligned across layers, meaning $|v_{i+1}^{ op}u_i| o1$. In the case of the logistic loss (binary cross entropy), more can be said: the linear function induced by the network --- the product of its weight matrices --- converges to the same direction as the maximum margin solution. This last property was identified in prior work, but only under assumptions on gradient descent which here are implied by the alignment phenomenon.

연구 동기 및 목표

• 선형적으로 분리 가능한 데이터를 학습하는 딥 리니어 네트워크에서 경사 하강법의 암묵적 편향을 이해하는 것.
• 감소하는 스텝 크기를 갖는 경사 유동과 경사 하강법 하에서 위험 수렴이 0으로 수렴함을 확립하는 것.
• 가중치 행렬이 점차적으로 질서 1이 되고, 계층 간에 정렬됨을 증명하는 것. 이는 암묵적 정규화를 암시한다.
• 로지스틱 손실 하에서 최종 네트워크 예측기가 최대 마진 해법으로 수렴함을 보이는 것.
• 딥 리니어 네트워크 최적화 동역학에서 위험 최소화와 구조적 정렬을 통합하는 것.

제안 방법

• 엄격하게 감소하는 손실 함수에 대해 경사 유동을 분석하여, 위험 수렴이 0으로 수렴하고 각 가중치 행렬이 점차적으로 질서 1 근사로 수렴함을 증명한다.
• 프로베니우스 노름 정규화를 사용하여 각 가중치 행렬의 스펙트럴 노름 대 프로베니우스 노름 비율이 1로 수렴함을 보여, 질서 1의 구조임을 나타낸다.
• 인접한 계층의 최상위 특이벡터 간 내적 |v_{i+1}^T u_i| → 1을 통해 계층 간 정렬을 증명한다.
• 로지스틱 손실의 경우, 가중치 행렬의 곱 w_prod = WL...W1이 방향으로 최대 마진 해법 ū로 수렴함을 보여준다. 이는 데이터의 최적 분리자와 일치한다.
• 경사 유동에는 미분방정식 분석을, 경사 하강법에는 이산 재귀를 사용하며, 노름과 투영 동역학을 통해 수직 성분을 제어한다.
• 최대 마진 방향의 스트레칭에 대한 수직 투영을 사용하여, 가중치 행렬이 최적의 부분공간으로 수렴하는 것을 추적한다.

실험 결과

연구 질문

• RQ1 선형적으로 분리 가능한 데이터를 갖는 딥 리니어 네트워크에서의 경사 하강법이 위험 수렴을 0으로 이끄는가?
• RQ2 경사 하강법 하에서 딥 리니어 네트워크의 개별 가중치 행렬이 점차적으로 질서 1이 되는가?
• RQ3 최적화 과정 중 인접한 계층의 최상위 특이벡터 간에 정렬이 발생하는가?
• RQ4 로지스틱 손실 하에서 최종 네트워크 예측기가 최대 마진 해법으로 수렴하는가?
• RQ5 암묵적 정규화가 명시적 정규화 없이 계층의 구조적 정렬로 설명될 수 있는가?

주요 결과

• 엄격하게 감소하는 손실 함수에서 경사 유동과 감소하는 스텝 크기를 갖는 경사 하강법 하에서 위험이 0으로 수렴한다.
• 각 정규화된 가중치 행렬 Wi / ||Wi||_F는 점차적으로 그 질서 1 근사 ui vi^T와 일치하며, 이는 ||Wi||_2 / ||Wi||_F → 1을 의미한다.
• 인접한 질서 1 근사 간 정렬이 발생함: |v_{i+1}^T ui| → 1으로 계층 간 방향 일致성이 나타난다.
• 로지스틱 손실의 경우, 최종 선형 예측기 w_prod = WL...W1이 방향으로 최대 마진 해법 ū로 수렴한다.
• 첫 번째 계층의 오른쪽 특이벡터 v1은 최대 마진 방향 ū로 수렴하며, 전체 네트워크는 이 방향으로 정렬된다.
• 정렬 현상은 경사 하강법의 암묵적 정규화를 설명한다. 이는 수직 성분이 억제되고, 노름이 비활성 방향에 낭비되지 않기 때문이다.