[논문 리뷰] On the Double Descent of Random Features Models Trained with SGD

Fanghui Liu, Johan A. K. Suykens외 1명|arXiv (Cornell University)|2021. 10. 13.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)로 훈련된 랜덤 피처(RF) 회귀에 대한 비점점 이론적 분석을 제공하며, RF 모델이 SGD 최적화 조건에서도 이중 하강 일반화 행동을 보임을 입증한다. 투과성 비율 $ m/n $ 에 대해 편향은 단조 감소하고 분산은 단일 최대값을 가지며, 일정 단계 크기의 SGD가 정확한 최소 노름 해와 동일한 수렴 속도를 달성함을 증명한다.

ABSTRACT

We study generalization properties of random features (RF) regression in high dimensions optimized by stochastic gradient descent (SGD) in under-/over-parameterized regime. In this work, we derive precise non-asymptotic error bounds of RF regression under both constant and polynomial-decay step-size SGD setting, and observe the double descent phenomenon both theoretically and empirically. Our analysis shows how to cope with multiple randomness sources of initialization, label noise, and data sampling (as well as stochastic gradients) with no closed-form solution, and also goes beyond the commonly-used Gaussian/spherical data assumption. Our theoretical results demonstrate that, with SGD training, RF regression still generalizes well for interpolation learning, and is able to characterize the double descent behavior by the unimodality of variance and monotonic decrease of bias. Besides, we also prove that the constant step-size SGD setting incurs no loss in convergence rate when compared to the exact minimum-norm interpolator, as a theoretical justification of using SGD in practice.

연구 동기 및 목표

• 고차원적, 과소 및 과다 파rameter화된 환경에서 SGD로 훈련된 랜덤 피처 모델의 일반화를 이해하기 위해.
• 최소 노름 보간자와 같은 이론적 폐형 해와 RF 모델에서의 실질적 SGD 최적화 간 격차를 메우기 위해.
• 가우스 또는 구형 데이터 가정에 의존하지 않고 초기화, 레이블 노이즈, 데이터 샘플링, 확률적 경사 하강의 다중 랜덤성 원인의 영향을 분석하기 위해.
• 서브가우시안 데이터와 일반적인 리프시츠 활성화 함수 조건 하에서 일정 및 다항 감소 단계 크기의 SGD 설정에 대해 비점점 오차 경계를 제공하기 위해.
• SGD 훈련이 보간 학습에서 일반화 성능을 유지하고 이중 하강 현상을 포착함을 검증하기 위해.

제안 방법

• 다중 랜덤성 원인을 고려한 스토하스틱 근사에서의 편향-분산 분해를 통한 비점점 오차 경계 유도.
• 랜덤 피처 공분산 행렬 $ \Sigma_m $ 과 그 기대값 $ \widetilde{\Sigma}_m $ 의 스펙트럼 성질 분석을 통해 $ \mathrm{Tr}(\Sigma_m) $ 가 서브지수임을 보이고, $ \widetilde{\Sigma}_m $ 가 크기 $ \mathcal{O}(1) $ 과 $ \mathcal{O}(1/m) $ 의 두 개의 서로 다른 고유값만을 가짐을 보여준다.
• SGD 업데이트 과정에서 초기화, 레이블 노이즈, 데이터 샘플링, 확률적 경사 하강의 영향을 분리하는 프레임워크 도입.
• 초과 위험의 분산 성분이 $ m/n $ 에 대해 단일 최대값을 가지며, 편향은 단조 감소함을 증명하여 이중 하강 행동을 설명한다.
• 일정 단계 크기의 SGD가 정확한 최소 노름 해와 동일한 수렴 속도를 가지며, 실용적 사용에 대한 정당성을 제시한다.
• 평균화된 SGD를 활용하고, 합성 및 MNIST 데이터셋에서 최소 노름 해와 비교하여 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 SGD 훈련은 과소 및 과다 파arameter화된 환경에서 랜덤 피처 모델의 일반화 오차에 어떻게 영향을 미치는가?
• RQ2 폐형 최소 제곱 해를 초월하여 SGD로 훈련된 RF 회귀에서 이중 하강 현상이 이론적으로 특성화될 수 있는가?
• RQ3 초기화, 레이블 노이즈, 데이터 샘플링, 확률적 경사 하강의 다중 랜덤성 원인이 일반화 오차의 편향과 분산을 어떻게 형성하는가?
• RQ4 일정 단계 크기의 SGD는 RF 회귀에서 정확한 최소 노름 보간자와 동일한 수렴 속도를 달성하는가?
• RQ5 SGD 최적화 하에서 과다 파arameter화 비율 $ m/n $ 의 함수로 편향과 분산 성분은 어떻게 행동하는가?

주요 결과

• 일반화 오차의 분산은 $ m/n $ 에 대해 단일 최대값을 가지며, 보간 임계점 $ m \approx n $ 근처에서 최고조절을 보이며, 이는 이중 하강 행동을 설명한다.
• 편향 성분은 $ m/n $ 가 증가함에 따라 단조 감소하며, 근사 정확도 향상이 일관되게 유지됨을 나타낸다.
• 일정 및 다항 감소 단계 크기의 경우 모두 비점점 초과 위험 경계가 서브가우시안 데이터와 일반적인 리프시츠 활성화 함수 조건 하에서 유효하다.
• 랜덤 피처 공분산 행렬 $ \Sigma_m $ 의 추적은 크기 $ \mathcal{O}(1) $ 의 노름을 가지는 서브지수 랜덤 변수이며, 그 기대값 $ \widetilde{\Sigma}_m $ 은 크기 $ \mathcal{O}(1) $ 과 $ \mathcal{O}(1/m) $ 의 두 개의 서로 다른 고유값만을 가진다.
• 일정 단계 크기의 SGD는 정확한 최소 노름 해와 동일한 초과 위험 수렴 속도를 달성하며, 실용적 사용에 대한 타당성을 입증한다.
• 합성 및 MNIST 데이터셋에서의 실험 결과는 이론적 경향을 확인한다: 정규화된 MSE에서의 이중 하강, 단조 감소하는 편향, 다양한 단계 크기에서의 단일 최대값을 가지는 분산.