[논문 리뷰] The Low-Rank Simplicity Bias in Deep Networks

Minyoung Huh, Hossein Mobahi외 4명|arXiv (Cornell University)|2021. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 79인용 수 11

한 줄 요약

이 논문은 깊이 있는 신경망이 저랭크 단순성 편향을 보이며, 더 깊은 아키텍처에서 이러한 함수의 체적 증가로 인해 저효율 랭크 임bedding 해석을 선호한다고 제안한다. 실험적으로는 깊이가 증가함에 따라 모델 용량을 변화시키지 않더라도, 노이즈가 있거나 고랭크 작업 조건에서도 저랭크 표현으로의 암묵적 편향이 생겨, CIFAR 및 ImageNet에서 성능 향상이 이루어지며 일반화 성능이 향상됨을 보였다.

ABSTRACT

Modern deep neural networks are highly over-parameterized compared to the data on which they are trained, yet they often generalize remarkably well. A flurry of recent work has asked: why do deep networks not overfit to their training data? In this work, we make a series of empirical observations that investigate and extend the hypothesis that deeper networks are inductively biased to find solutions with lower effective rank embeddings. We conjecture that this bias exists because the volume of functions that maps to low effective rank embedding increases with depth. We show empirically that our claim holds true on finite width linear and non-linear models on practical learning paradigms and show that on natural data, these are often the solutions that generalize well. We then show that the simplicity bias exists at both initialization and after training and is resilient to hyper-parameters and learning methods. We further demonstrate how linear over-parameterization of deep non-linear models can be used to induce low-rank bias, improving generalization performance on CIFAR and ImageNet without changing the modeling capacity.

연구 동기 및 목표

• 과도하게 파rameter화된 깊이 있는 네트워크가 높은 용량을 지니고 있음에도 불구하고 일반화가 잘 되는 이유를 탐구하며, 전통적인 과적합 예측에 도전한다.
• 깊이가 선형 및 비선형 모델 모두에서 저랭크 해석으로의 편향을 유도하는지 검토한다.
• 이 저랭크 편향이 초기화, 훈련, 하이퍼파라미터 및 학습 방법에 관계없이 유지되는지 테스트한다.
• 선형 과도 파arameter화를 사용하여 모델링 용량을 변화시키지 않고도 저랭크 편향을 유도하고 일반화 성능을 향상시킬 수 있는지 탐색한다.
• 노이즈가 있는 감독 하에서의 단순성 편향의 강건성 평가

제안 방법

• 깊이(1~20층)와 랭크(1~64)를 다양하게 조절한 선형 회귀 작업에서 훈련 및 테스트 손실을 실험적으로 평가하고, 손실이 0에 수렴하는지 측정한다.
• 특징 임베딩의 유효 랭크를 특이값 분해(SVD)를 사용해 계산하여 학습된 표현의 랭크를 정량화한다.
• 비선형 모델에 선형 과도 파arameter화를 적용하여 저랭크 편향을 유도하고, CIFAR-10 및 ImageNet에서의 성능을 평가한다.
• 정적 및 확률적 노이즈 주입을 통한 노이즈가 있는 최소 제곱 실험을 수행하여, 레이블 손상 조건 하에서 저랭크 편향의 강건성을 테스트한다.
• 랜덤 네트워크 샘플링을 통해 깊이 있는 선형 모델에서 가중치 행렬 랭크와 커널(Gram 행렬) 랭크 간의 관계를 분석한다.
• 학습률 스케줄링을 적용한 SGD를 사용해 다양한 노이즈 수준과 깊이에서 모델을 훈련하고, 테스트 성능과 유효 랭크를 비교한다.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크에서 고랭크 선형 함수(랭크 64)를 피팅하는 데 실패하면서도 유효 랭크가 낮은 해석으로의 편향이 깊이에 비례하여 증가하는가?
• RQ2 초기화 단계와 훈련 후에도 저랭크 단순성 편향이 존재하며, 다양한 최적화 알고리즘과 하이퍼파라미터에 대해 유지되는가?
• RQ3 비선형 모델에서 선형 과도 파arameter화를 통해 모델링 용량을 변화시키지 않고도 저랭크 편향을 유도하고 일반화 성능을 향상시킬 수 있는가?
• RQ4 정적 노이즈와 확률적 노이즈 간의 차이에서 저랭크 편향이 일반화 성능에 미치는 영향은 어떠한가?
• RQ5 깊이 있는 선형 모델에서 가중치 행렬의 유효 랭크와 커널(Gram) 행렬의 유효 랭크 간의 관계는 어떠한가?

주요 결과

• 더 깊은 네트워크는 고랭크 선형 함수(랭크 64)를 피팅하지 못하며, 깊이가 증가할수록 훈련 손실이 증가하는 반면, 얕은 네트워크는 0 손실에 수렴한다.
• 더 깊은 네트워크에서 특징 임베딩의 유효 랭크는 항상 얕은 네트워크보다 낮게 유지되며, 체계적인 저랭크 편향이 있음을 시사한다.
• 저랭크 단순성 편향은 초기화 단계에서도 존재하며, 다양한 최적화 알고리즘, 학습률, 하이퍼파라미터에 대해 유지되며 강건성을 보인다.
• 노이즈가 있는 최소 제곱 실험에서 더 깊은 네트워크는 더 얕은 네트워크보다 일반화 성능이 뛰어나며, 노이즈에 대해 과소적합되며 특히 확률적 노이즈 조건에서 더 낮은 테스트 오차를 기록한다.
• 노이즈 관측 조건에서도 더 깊은 네트워크는 낮은 유효 랭크 해석으로 수렴함을 보이며, 깊이가 레이블 노이즈에 대한 정규화 역할을 함을 시사한다.
• 깊이 있는 선형 모델에서 가중치 행렬의 유효 랭크와 커널(Gram) 행렬의 유효 랭크 사이에 강한 선형 관계가 존재하며, 이는 가중치 랭크와 커널 랭크 간 이론적 연결을 뒷받침한다.