[논문 리뷰] Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model

Antoine Bodin, Nicolas Macris|arXiv (Cornell University)|2021. 10. 22.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 복소적분 표현과 난수 행렬 이론을 사용하여 경사 하강 흐름 하에서 랜덤 특징 모델의 전체 시간 진화에 대한 최초의 정확한 해석적 해를 제공한다. 이는 시간에 따라 이중 및 삼중 저하가 동적으로 발생하며, 특정 영역에서는 조기 정지가 유리하다는 것을 드러내며, 과다 매개변수화된 설정에서 두 가지 다른 에포크 단위 저하 구조를 규명한다.

ABSTRACT

Recent evidence has shown the existence of a so-called double-descent and even triple-descent behavior for the generalization error of deep-learning models. This important phenomenon commonly appears in implemented neural network architectures, and also seems to emerge in epoch-wise curves during the training process. A recent line of research has highlighted that random matrix tools can be used to obtain precise analytical asymptotics of the generalization (and training) errors of the random feature model. In this contribution, we analyze the whole temporal behavior of the generalization and training errors under gradient flow for the random feature model. We show that in the asymptotic limit of large system size the full time-evolution path of both errors can be calculated analytically. This allows us to observe how the double and triple descents develop over time, if and when early stopping is an option, and also observe time-wise descent structures. Our techniques are based on Cauchy complex integral representations of the errors together with recent random matrix methods based on linear pencils.

연구 동기 및 목표

• 경사 하강 흐름 하에서 랜덤 특징 모델의 훈련 오차 및 일반화 오차의 전체 시간 진화를 해석적으로 특성화하는 것.
• 모델/샘플 크기뿐 아니라 훈련 시간(에포크 단위)에 따라 나타나는 이중 및 삼중 저하 현상의 기원을 이해하는 것.
• 특정 매개변수 영역에서 조기 정지 전략이 일반화 성능 향상에 분석적으로 타당한지 확인하는 것.
• 과다 매개변수화된 영역에서 관찰되는 상이한 에포크 단위 저하 구조를 분류하고 설명하는 것.
• 다양한 활성화 함수와 매개변수 영역에서의 수치 시뮬레이션과의 비교를 통해 분석 프레임워크의 타당성을 검증하는 것.

제안 방법

• 카우치 복소적분 표현을 사용하여 훈련 오차 및 일반화 오차의 정확한 표현을 유도한다.
• 최근의 랜덤 행렬 방법, 특히 선형 펜슬 기반 기법을 적용하여 스펙트럼 밀도 및 스틸리에스 변환을 계산한다.
• 시간에 따라 변화하는 오차를 대수적 방정식으로 지배되는 스펙트럼 밀도에 대한 일변수 및 이변수 적분으로 표현한다.
• n, d, N → ∞, N/d → ψ, n/d → φ의 점점 가까운 근사 극한을 사용하여 해석적 취급 가능성을 확보한다.
• 스펙트럼 측도의 스틸리에스 변환에 대한 닫힌 형태의 대수적 방정식을 통해 오차 곡선의 동역학을 해석한다.
• 다양한 활성화 함수와 매개변수 영역에서 수치 시뮬레이션과의 비교를 통해 분석 예측의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 특징 모델에서 이중 및 삼중 저하 현상은 훈련 시간에 따라 어떻게 동적으로 진화하는가?
• RQ2 모델 기반 및 샘플 기반 이중 저하 현상은 언제 발생하며, 일반화 오차의 최소값에 의해 이르는가?
• RQ3 특정 매개변수 영역에서 조기 정지는 일반화 성능 향상 전략으로서 분석적으로 타당한가?
• RQ4 훈련 과정에서 관찰되는 상이한 에포크 단위 저하 구조는 무엇이며, 모델 하이퍼파rameter에 따라 어떻게 달라지는가?
• RQ5 다양한 활성화 함수는 에포크 단위 저하 패턴의 형태와 가시성에 어떻게 영향을 미치는가?

주요 결과

• 일반화 오차의 이중 및 삼중 저하 현상은 해석 이론의 임계점 이후 유한한 시간이 지난 후에만 나타나며, 이전에 나타나는 낮은 오차는 조기 정지의 잠재적 이점을 시사한다.
• 모델는 두 가지 상이한 에포크 단위 저하 구조를 보인다: 과다 매개변수화된 영역에서는 두 개의 플랫폼을 가진 단조 감소 구조이며, λ가 클 경우 훈련 오차에서 보조적인 감소가 나타나는 더 복잡한 구조이다.
• 첫 번째 플랫폼의 시간 스케일은 λ 매개변수에 의해 제어되며, λ를 재스케일링하면 다양한 영역에서 해석 이론의 임계점 시간 스케일을 안정화시킬 수 있다.
• 두 번째 층의 노이즈 r = 0일 경우, 테스트 오차의 두 번째 플랫폼이 사라지므로, 노이즈가 저하 구조 형성에 핵심적인 역할을 한다는 것을 시사한다.
• 큰 λ 값은 테스트 오차의 이중 저하를 억제하고 훈련 오차에 이중 단계 감소를 유도하며, 이는 정규화 효과와 일치한다.
• 분석 예측은 조건이 좋은 d에 대해서조차도 수치 시뮬레이션과 밀도 있게 일치하여, 고차원 극한에서 경사 하강 흐름 근사의 타당성을 확인한다.