[논문 리뷰] Learning curves for deep structured Gaussian feature models

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|2023. 03. 01.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 통계역학의 복제 방법을 사용하여 구조화된 가우시안 가중치를 가진 깊은 선형 랜덤 특징 모델의 학습 곡선을 유도한다. 첫 번째 레이어의 가중치 이방성은 일반화를 향상시키지만, 더 깊은 레이어의 구조는 일반적으로 해로우며, 일반화 법칙은 멱법칙 가중치 스펙트럼에 대해 불변이다. 결과는 베이지안 추정기로 확장되며, 사전 분산이 유리한 구조를 가능하게 할 수 있다.

ABSTRACT

In recent years, significant attention in deep learning theory has been devoted to analyzing when models that interpolate their training data can still generalize well to unseen examples. Many insights have been gained from studying models with multiple layers of Gaussian random features, for which one can compute precise generalization asymptotics. However, few works have considered the effect of weight anisotropy; most assume that the random features are generated using independent and identically distributed Gaussian weights, and allow only for structure in the input data. Here, we use the replica trick from statistical physics to derive learning curves for models with many layers of structured Gaussian features. We show that allowing correlations between the rows of the first layer of features can aid generalization, while structure in later layers is generally detrimental. Our results shed light on how weight structure affects generalization in a simple class of solvable models.

연구 동기 및 목표

• 첫 번째 레이어 가중치 행렬의 행 간 상관관계인 가중치 이방성이 깊은 랜덤 특징 모델의 일반화에 어떻게 영향을 미치는지 이해하기 위해.
• 독립 동일분포 가중치를 가정하는 기존의 가우시안 등가 정리들을 구조화된 가중치 분포를 가진 모델로 확장하기 위해.
• 더 깊은 레이어의 상관관계가 릿지 없는 및 베이지안 추정기에서 일반화를 떨어뜨리거나 향상시키는지 조사하기 위해.
• 복제 기법을 사용하여 임의의 가중치 공분산 구조를 가진 깊은 선형 RFM의 점근적 일반화 오차 표현식을 유도하기 위해.
• 실제 딥러닝에 관련된 가중치 및 데이터 스펙트럼의 멱법칙 지수 변화에 대해 일반화 법칙의 강건성에 대해 조사하기 위해.

제안 방법

• 통계역학의 복제 방법을 사용하여 구조화된 가우시안 가중치를 가진 깊은 선형 랜덤 특징 모델에서 점근적 일반화 오차를 계산한다.
• 특징 커널의 스펙트럼을 분석하여 릿지 없는 극한에서 일반화 오차 전개를 유도하며, 가중치 공분산 통계를 통합한다.
• 가우시안 등가 원리를 적용하여 비선형 RFM을 효과적 노이즈가 있는 선형 모델로 연결함으로써 분석 가능성을 확보한다.
• 역 너비(αℓ)에 대한 펌정 전개를 유도하여 일반화 오차를 1/αℓ의 급수로 표현하며, 가중치 이방성의 영향을 기록한다.
• 열역학적 분산 항과 사전 초모수를 통합하여 결과를 베이지안 깁스 추정기로 확장한다.
• 행렬 가우시안 집단의 스펙트럼 통계를 사용하여 가중치 행렬의 특이값에 대한 기대값을 계산한다. 예를 들어 E[σ̃ℓ] 및 E[σ̃ℓ²]와 같이.

실험 결과

연구 질문

• RQ1 첫 번째 레이어 가중치 행렬에 상관관계를 도입하면 깊은 선형 랜덤 특징 모델의 일반화가 향상되는가?
• RQ2 릿지 없는 극한에서 첫 번째 레이어를 초월한 은닉 레이어의 가중치 구조는 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 가중치 및 데이터 스펙트럼의 멱법칙 지수 변화에 대해 일반화 법칙은 강건한가?
• RQ4 베이지안 추정에서 가중치 이방성이 유리할 수 있는가, 만약 그렇다면 어떤 조건에서인가?
• RQ5 복제 방법을 통해 유도된 점근적 일반화 오차 표현식은 i.i.d. 가우시안을 초월한 구조화된 가중치 분포에 대해 어느 정도 유효한가?

주요 결과

• 첫 번째 레이어의 가중치 이방성—특히 첫 번째 레이어 가중치 행렬의 행 간 상관관계—는 효과적 커널 노름을 감소시켜 일반화를 향상시킬 수 있다.
• 더 깊은 레이어(L ≥ 2)의 구조는 일반적으로 릿지 없는 극한에서 일반화에 해로운 영향을 미치며, 이는 효과적 커널 노름과 일반화 오차를 증가시키기 때문이다.
• 가중치 및 데이터의 멱법칙 스펙트럼이 존재하는 경우에도 일반화 오차의 점근적 스케일링 법칙은 데이터셋 크기와 네트워크 너비에 대해 변화하지 않으며, 스펙트럼의 구조에 대해 강건함을 나타낸다.
• 베이지안 깁스 추정기에서는 충분히 큰 사전 분산이 가중치 이방성을 유리하게 만들 수 있으며, 이는 사전 분포가 표현 학습을 가능하게 할 수 있음을 시사한다.
• 역 너비(1/αℓ)에 대한 일반화 오차 전개에서 첫 번째 레이어의 이방성은 주요 오차에 영향을 주는 1/α₁ 항을 기여하며, 더 깊은 레이어는 유사하게 기여하지만 부정적인 영향을 미친다.
• 릿지 없는 및 베이지안 설정 모두에서 유도된 일반화 오차 표현식은 점근적 극한에서 정확하며, 가중치 행렬의 스펙트럼 모멘트에 명시적으로 의존한다.