[논문 리뷰] Large Learning Rate Tames Homogeneity: Convergence and Balancing Effect

Yuqing Wang, Minshuo Chen외 2명|arXiv (Cornell University)|2021. 10. 07.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 4

한 줄 요약

이 논문은 동차 행렬 분해에서 큰 학습률을 가진 경사하강법의 수렴성과 암묵적 편향을 규명하며, 큰 학습률이 초기화가 비균형일지라도 인자 X와 Y의 크기를 상호 균형 잡히게 만드는 '균형 효과'를 유도함을 증명한다. 이론적으로 표준 2/L 기준을 초월한 수렴성을 보이며, 균형 정도는 2/h로 측정 가능하며, 스칼라 및 일반 행렬 케이스에서의 수치 실험을 통해 이를 검증한다.

ABSTRACT

Recent empirical advances show that training deep models with large learning rate often improves generalization performance. However, theoretical justifications on the benefits of large learning rate are highly limited, due to challenges in analysis. In this paper, we consider using Gradient Descent (GD) with a large learning rate on a homogeneous matrix factorization problem, i.e., $\min_{X, Y} \|A - XY^ op\|_{\sf F}^2$. We prove a convergence theory for constant large learning rates well beyond $2/L$, where $L$ is the largest eigenvalue of Hessian at the initialization. Moreover, we rigorously establish an implicit bias of GD induced by such a large learning rate, termed 'balancing', meaning that magnitudes of $X$ and $Y$ at the limit of GD iterations will be close even if their initialization is significantly unbalanced. Numerical experiments are provided to support our theory.

연구 동기 및 목표

• 딥 러닝에서의 큰 학습률의 경험적 성공을 이론적으로 정당화하기 위해, 특히 비볼록 최적화 문제에 대해.
• ReLU 네트워크 및 기타 딥 러닝 아키텍처를 모델링하는 동차 행렬 분해 문제에서 큰 학습률을 가진 경사하강법을 분석하기 위해.
• 학습률이 표준 2/L 기준을 초월할 경우, 특히 약 4/L 이하까지도 수렴함을 보장하기 위해.
• 큰 학습률이 가지는 암묵적 편향을 엄밀히 규명하며, 이를 '균형'이라 칭하여 X와 Y의 크기가 유사해지는 경향을 설명하기 위해.
• Frobenius 노름 차이 ||X−Y||_F²를 기준으로 균형 정도를 정량화하며, 이는 h에 따라 임의의 인자로 감소시킬 수 있음을 보여주기 위해.

제안 방법

• 고정된 큰 학습률 h를 가진 동차 행렬 분해 문제에 대한 경사하강법을 분석: min_X,Y ||A − XYᵀ||_F².
• 일반 행렬 케이스를 대각선 문제로 줄이기 위해 특이값 분해(SVD)를 사용하여 변환된 변수 R과 S를 통해 분석 가능하게 한다.
• 초기화 시 헤시안을 유도하고 가장 큰 고유값 L을 유계화하여 수렴 조건의 임계 기준 h ≈ 4/L을 정의한다.
• 헤시안에서 유도된 행렬 M을 사용하여 반복 맵 I − hM의 안정성 분석을 적용하여 수렴 조건을 도출한다.
• 수렴 시 ||X||_F² + ||Y||_F² ≤ 2/(ch)임을 증명하며, c는 n과 d에 따라 달라지는 상수이므로 균형 경계를 도출한다.
• 전역 최소값이 고립되어 있지 않으며, 안정하지 않은鞍점이므로 거의 모든 초기화에서 안정된 고정점으로 수렴함을 이용한다.

실험 결과

연구 질문

• RQ1 동차 행렬 분해 문제에서 큰 학습률(h > 2/L)을 가진 경사하강법이 수렴하는가?
• RQ2 큰 학습률이 X와 Y의 크기가 균형을 이루는 평탄한 최소값 쪽으로의 암묵적 편향을 유도하는가?
• RQ3 균형 효과는 정량화할 수 있으며, 학습률 h에 따라 어떻게 달라지는가?
• RQ4 큰 h 조건 하에서 수렴 시 Frobenius 노름 차이 ||X − Y||_F²의 이론적 상한은 무엇인가?
• RQ5 행렬 A가 등방향 또는 대각선일 경우 수렴 및 균형 행동은 어떻게 변화하는가?

주요 결과

• 스칼라 분해 케이스(n=1)에서는 h ≲ 4/L일 때 GD가 전역 최소값으로 수렴하며, ||X||_F² + ||Y||_F² ≤ 2/h임을 보여준다.
• 균형 효과는 ||X − Y||_F² ≤ 2/h − 2A로 정량화되며, h가 증가함에 따라 차이를 임의의 인자로 감소시킬 수 있음을 보여준다.
• 일반적인 경우(n, d가 임의로 주어진 경우), 제한된 균형은 ||X||_F² + ||Y||_F² ≤ 2/(ch)로 유계화되며, c > 0인 상수이므로 n, d, h에 영향을 받지 않는다.
• SVD를 통해 일반 행렬로의 확장이 가능하며, 문제를 대각선 문제로 축소하여 수렴성과 균형이 입증된다.
• 수치 실험은 이론적 결과를 지지하며, 극도로 비균형적인 초기화로부터도 ||X − Y||_F²의 상당한 감소를 보여준다.
• 수렴 영역은 고전적인 2/L 기준을 훨씬 초월하며, h ≈ 4/L가 실현 가능하고 유익함을 보여준다.