[논문 리뷰] Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning

Zhiyuan Li, Yuping Luo외 1명|arXiv (Cornell University)|2020. 12. 17.

Face and Expression Recognition참고 문헌 40인용 수 13

한 줄 요약

이 논문은 깊이 2의 행렬 분해에서 무한소 초기화 시 경사 하강의 흐름이 Greedy Low-Rank Learning(Greedy Low-Rank Learning, GLRL)이라고 불리는 탐욕적 랭크 최소화 알고리즘과 수학적으로 동치임을 제안하며, 핵노름 최소화보다 더 표현력 있는 경사 하강의 암묵적 편향을 기술한다. 또한 깊이 ≥ 3인 네트워크에서는 이러한 랭크 최소화 행동이 강화되어 실용적인 초기화 스케일에서도 효과적으로 작용하며, 경사 하강의 흐름이 핵노름을 최소화한다는 추측에 반례를 제시한다.

ABSTRACT

Matrix factorization is a simple and natural test-bed to investigate the implicit regularization of gradient descent. Gunasekar et al. (2017) conjectured that Gradient Flow with infinitesimal initialization converges to the solution that minimizes the nuclear norm, but a series of recent papers argued that the language of norm minimization is not sufficient to give a full characterization for the implicit regularization. In this work, we provide theoretical and empirical evidence that for depth-2 matrix factorization, gradient flow with infinitesimal initialization is mathematically equivalent to a simple heuristic rank minimization algorithm, Greedy Low-Rank Learning, under some reasonable assumptions. This generalizes the rank minimization view from previous works to a much broader setting and enables us to construct counter-examples to refute the conjecture from Gunasekar et al. (2017). We also extend the results to the case where depth $\ge 3$, and we show that the benefit of being deeper is that the above convergence has a much weaker dependence over initialization magnitude so that this rank minimization is more likely to take effect for initialization with practical scale.

연구 동기 및 목표

• 행렬 분해에서의 경사 하강의 암묵적 편향을 해소하기, 특히 깊은 신경망의 맥락에서.
• Gunasekar 등(2017)의 추측, 즉 경사 하강 흐름이 핵노름을 최소화한다는 것을 반증하기 위해 반례를 제시하기.
• Greedy Low-Rank Learning(GLRL)을 통한 암묵적 정규화의 새로운 특성화를 제안하고 분석하기.
• 깊은 행렬 분해(깊이 ≥ 3)로 분석을 확장하여 깊이가 초기화 크기 의존성에 미치는 영향을 줄임을 보여주기.
• 이론적 결과를 경험적 실험을 통해 검증하기.

제안 방법

• 경우의 수에 따라 랭크 제약을 점진적으로 증가시키는 히우리스틱 알고리즘인 Greedy Low-Rank Learning(GLRL)을 제안한다.
• 일부 가정 하에 무한소 초기화 시 경사 하강 흐름과 GLRL 간의 수학적 동치성을 확립한다.
• 리아푸노프 스타일 분석과 미분부등식 기법을 사용하여 최적화 궤적의 진화를 경계한다.
• 편미분을 적용하여 초기 학습 단계에서 경사 하강 흐름의 궤적이 GLRL 경로를 거의 정확히 따라감을 보인다.
• 시간에 따라 변화하는 노름 분해를 도입하여 가중치 행렬의 저랭크 및 고랭크 성분을 분리한다.
• 심층 행렬 분해를 분석하기 위해 항등 초기화와 깊이에 따라 변하는 스케일링을 포함한 파arameterization을 사용한다.

실험 결과

연구 질문

• RQ1 행렬 분해에서의 경사 하강 흐름은 랭크 최소화 과정과 동치인가?
• RQ2 경사 하강의 암묵적 편향은 노름 최소화보다 랭크 최소화로 더 잘 특성화될 수 있는가?
• RQ3 깊이가 초기화 크기에 대한 랭크 최소화의 강건성에 어떤 영향을 미치는가?
• RQ4 핵노름 최소화 추측을 반박할 수 있는 반례를 구성할 수 있는가?
• RQ5 GLRL 프레임워크는 이전에 연구된 특수 케이스를 초월하여 일반화 가능한가?

주요 결과

• 깊이 2의 행렬 분해에서 무한소 초기화 시 경사 하강 흐름은 탐욕적 랭크 최소화 알고리즘인 Greedy Low-Rank Learning(GLRL)과 수학적으로 동치이다.
• Gunasekar 등(2017)이 제기한 경사 하강 흐름이 핵노름을 최소화한다는 추측을 반박하는 반례를 구성하였다.
• 깊이 ≥ 3일 경우, 경사 하강 흐름의 암묵적 편향은 초기화 크기에 대해 훨씬 덜 민감하여 실용적인 초기화 스케일에서도 랭크 최소화가 발생할 가능성이 높아진다.
• 이론적 분석을 통해 유한한 초기화 조건에서도 초기 학습 단계에서 경사 하강 흐름의 궤적이 깊은 형태의 GLRL로 수렴함을 보였다.
• 부록 C의 경험적 검증은 등가성과 랭크 최소화의 행동에 대한 이론적 예측을 확인하였다.
• GLRL 프레임워크는 특히 비균일한 특이값 역학을 포착할 수 있어, 노름 기반 언어보다 더 표현력 있는 암묵적 정규화 특성화를 제공한다.