[논문 리뷰] Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank

Hung-Hsu Chou, Carsten Gieshoff외 2명|arXiv (Cornell University)|2020. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 2

한 줄 요약

이 논문은 딥 매트릭스 파생에서 경사하강법의 역학을 분석하여, 명시적 정규화가 없더라도 경사하강법이 암묵적으로 낮은 질서의 해를 선호하는 경향을 보임을 보여준다. 연구는 특정 시간 간격 동안 반복값이 진짜 행렬의 최적 낮은 질서 근사와 매우 유사하게 수렴함을 엄밀히 규명하며, 효과적 질서 역학을 통해 딥 러닝에서의 암묵적 편향에 대한 이론적 통찰을 제공한다.

ABSTRACT

In deep learning, it is common to use more network parameters than training points. In such scenarioof over-parameterization, there are usually multiple networks that achieve zero training error so that thetraining algorithm induces an implicit bias on the computed solution. In practice, (stochastic) gradientdescent tends to prefer solutions which generalize well, which provides a possible explanation of thesuccess of deep learning. In this paper we analyze the dynamics of gradient descent in the simplifiedsetting of linear networks and of an estimation problem. Although we are not in an overparameterizedscenario, our analysis nevertheless provides insights into the phenomenon of implicit bias. In fact, wederive a rigorous analysis of the dynamics of vanilla gradient descent, and characterize the dynamicalconvergence of the spectrum. We are able to accurately locate time intervals where the effective rankof the iterates is close to the effective rank of a low-rank projection of the ground-truth matrix. Inpractice, those intervals can be used as criteria for early stopping if a certain regularity is desired. Wealso provide empirical evidence for implicit bias in more general scenarios, such as matrix sensing andrandom initialization. This suggests that deep learning prefers trajectories whose complexity (measuredin terms of effective rank) is monotonically increasing, which we believe is a fundamental concept for thetheoretical understanding of deep learning.

연구 동기 및 목표

• 딥 매트릭스 파생에서 경사하강법의 암묵적 편향을 이해하기 위해, 명시적 정규화 없이도 낮은 질서 해를 선호하는 경향을 분석하는 것.
• 선형 네트워크에서 반복값의 스펙트럼의 역학적 변화를 기술하는 것.
• 진짜 행렬의 최적 낮은 질서 근사와 동일한 효과적 질서를 가지는 반복값이 나타나는 정확한 시간 간격을 규명하는 것.
• 과매개수 설정에서 낮은 복잡도의 해를 유도하는 조기 정지의 이론적 근거를 제공하는 것.
• 구조화된 초기화에서 더 일반적인 상황, 즉 무작위 초기화와 매트릭스 감지에까지 통찰을 확장하는 것.

제안 방법

• 목표 행렬이 N개의 행렬로 분해되는 매트릭스 파생 문제에 대해 순수한 경사하강법을 분석하며, 초기화는 작은 α > 0에 대해 αI로 설정함.
• 연속 시간 경사 흐름을 사용하여 시간에 따라 곱 행렬의 특이값과 고유값의 역학을 연구함.
• 반복값의 효과적 질서가 진짜 행렬의 최적 랭크-L 근사와 일치하는 명시적 시간 간격을 유도함.
• 스펙트럼 분석과 섭동 이론을 활용하여 특이값의 진화와 주요 성분으로의 수렴을 추적함.
• 다양한 분해 깊이(N = 1에서 4까지)를 사용하여 MNIST 데이터셋에서 실험적으로 결과를 검증하며, 특이값 역학과 행렬 재구성 과정을 시각화함.
• 무작위 초기화(Gaussian i.i.d. 요소)로의 분석을 확장하고, 초기화 분산이 다양할 때의 수렴 및 암묵적 편향 행동을 비교함.

실험 결과

연구 질문

• RQ1 딥 매트릭스 파생에서 경사하강법은 명시적 정규화 없이도 낮은 질서 해로의 암묵적 편향을 보이는가?
• RQ2 최적의 낮은 질서 근사와 동일한 효과적 질서를 가지는 반복값이 나타나는 시간 간격을 분석적으로 규명할 수 있는가?
• RQ3 분해 깊이(N)가 특이값의 수렴 역학과 낮은 질서 구조의 등장에 어떤 영향을 미치는가?
• RQ4 무작위 초기화는 효과적 질서가 낮은 데로의 암묵적 편향을 어느 정도 유지하는가? 초기화 분산은 이러한 행동에 어떤 영향을 미치는가?
• RQ5 이론적 프레임워크는 부분 관측이 있는 낮은 질서 매트릭스 감지와 같은 과정에서의 불완전한 설정으로 확장 가능한가?

주요 결과

• 딥 매트릭스 파생에서 경사하강법의 역학은 반복값의 효과적 질서가 단조롭게 증가하며, 특정 시간 간격 동안 진짜 행렬의 최적 낮은 질서 근사와 효과적 질서가 매우 유사하게 수렴함을 보여줌.
• N ≥ 2일 경우 특이값의 수렴이 더 뚜렷해져서, 더 명확한 역학적 특성과 낮은 질서 영역의 식별이 가능해짐.
• MNIST에서의 실험 결과는 깊이 있는 분해(N = 3)가 얕은 분해(N = 1 또는 2)보다 더 이르게 더 명확한 낮은 질서 구조를 달성함(예: k ∈ [1000, 2000]).
• 작은 초기화 분산(α = 0.1)에서는 낮은 질서 구조로의 암묵적 편향이 뚜렷하게 나타나지만, 큰 분산(α = 1)은 고유값 근사의 순서를 방해하여 편향을 약화시킴.
• 목표 행렬 cW의 최적 랭크-1 및 랭크-2 근사는 강력한 기준이 되며, 경사하강법 반복값은 프로베니우스 노름에서 이들에 수렴함으로써 낮은 질서 선호도를 확인함.
• 분석 결과는 효과적 질서 수렴이 높은 간격에서의 조기 정지를 통해 낮은 복잡도의 해를 얻을 수 있음을 시사하며, 딥 러닝에서의 정규화를 위한 실용적 기준을 제시함.