[논문 리뷰] Universality Laws for High-Dimensional Learning with Random Features

Hong Hu, Yue M. Lu|arXiv (Cornell University)|2020. 09. 16.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 23

한 줄 요약

이 논문은 고차원 랜덤 특징 모델에 대한 보편성 법칙을 수립하여, 그들의 학습 오차와 일반화 오차가 동일한 공분산을 가진 선형 가우시안 모델의 것과 渐진적으로 일치함을 증명한다. 독립성의 정도가 낮은 변수에 대해 라인베르크 스타일의 접근법과 유령-아웃 분석, 스틴 방법을 사용하여, 일반적인 비선형 활성화 함수와 손실 함수 하에서 가우시안 등가 추측을 엄밀히 검증한다.

ABSTRACT

We prove a universality theorem for learning with random features. Our result shows that, in terms of training and generalization errors, a random feature model with a nonlinear activation function is asymptotically equivalent to a surrogate linear Gaussian model with a matching covariance matrix. This settles a so-called Gaussian equivalence conjecture based on which several recent papers develop their results. Our method for proving the universality theorem builds on the classical Lindeberg approach. Major ingredients of the proof include a leave-one-out analysis for the optimization problem associated with the training process and a central limit theorem, obtained via Stein's method, for weakly correlated random variables.

연구 동기 및 목표

• 비선형 활성화 함수를 가진 랜덤 특징 모델에 대한 보편성 정리를 고차원 영역에서 수립하기.
• 랜덤 특징 모델이 공분산이 일치하는 선형 가우시안 모델과 유사하게 행동한다는 가우시안 등가 추측을 검증하기.
• 입력 차원과 특징 차원이 커지는 극한에서 학습 오차와 일반화 오차를 분석하기, 고정된 비율을 유지하는 조건 하에서.
• 이차 손실 함수와 정규화 항을 넘어 일반적인 비이차 및 비선형 설정으로 이론적 분석을 확장하기.
• 오버파rameterized 모델에서 일반화를 이해하기 위한 엄밀한 기초를 제공하기, 랜덤 행렬 이론과 스틴 방법의 도구를 사용하여.

제안 방법

• 특정 랜덤 특징의 분포에 의존하지 않고 가우시안 대체 모델을 사용하는 라인베르크 스타일의 접근법을 통해 보편성을 증명한다.
• 최적의 가중치 벡터가 개별 학습 샘플에 얼마나 민감한지를 제어하기 위해 유령-아웃 분석을 사용하여, 측도 집중의 추론을 가능하게 한다.
• 최적화 과정에서 발생하는 약간의 상관관계를 가진 랜덤 변수를 다루기 위해 스틴 방법을 통한 중심극한정리 적용.
• 최적화 문제의 변형 기반 분석을 도입하여 가중치 벡터의 이탈과 오차 지표에 미치는 영향을 제한한다.
• 모멘트 조건과 손실 및 정규화 항의 도함수에 대한 다항식 성장 조건을 사용하여 진짜 모델과 가우시안 대체 모델 간의 차이에 대한 경계를 유도한다.
• 학습 오차와 일반화 오차의 渐진적 행동이 특징의 공분산 구조에만 의존하며, 활성화 함수의 구체적 분포에는 영향을 받지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 비선형 활성화 함수를 가진 랜덤 특징 모델이 고차원에서 학습 오차와 일반화 오차 측면에서 선형 가우시안 모델로 수렴하는가?
• RQ2 특징 매핑의 구체적 분포가 공분산 구조를 초월하여 랜덤 특징 모델의 성능에 얼마나 영향을 미치는가?
• RQ3 이차 손실 함수에 국한되지 않고 일반적인 손실 및 정규화 함수에 대해서도 가우시안 등가 추측을 엄밀히 증명할 수 있는가?
• RQ4 학습 데이터와 최적화 과정에서의 약한 종속성이 학습 오차의 渐진적 행동에 어떻게 영향을 미치는가?
• RQ5 보편성이 고차원 극한에서 성립하기 위한 손실 함수와 활성화 함수에 대한 충분한 조건는 무엇인가?

주요 결과

• 비선형 활성화 함수를 가진 랜덤 특징 모델의 학습 오차와 일반화 오차는 공분산 매트릭스가 일치하는 선형 가우시안 모델의 것과 동일한 결정론적 극한으로 수렴한다.
• 일반적인 손실 및 정규화 함수, 비이차 및 비연속적인 경우를 포함하여 특정 모멘트 및 성장 조건을 만족할 경우 보편성 결과가 성립한다.
• 라인베르크 유형의 추론을 통해 모델의 분포적 행동이 특징의 공분산에만 의존하고 고차 모멘트에는 영향을 받지 않음을 입증한다.
• 유령-아웃 분석은 최적의 가중치 벡터가 개별 데이터 포인트에 얼마나 민감한지를 성공적으로 제어하여 고차원에서 측도 집중 경계를 가능하게 한다.
• 약한 종속성을 가진 변수에 스틴 방법을 적용함으로써 중심극한정리를 확보하여, 최적화 경로의 종속성에도 불구하고 보편성 주장이 타당함을 뒷받침한다.
• 랜덤 특징 모델과 그 가우시안 대체 모델 간의 오차 차이는 $ O( ext{polylog}(p)/ ext{poly}(p)) $ 의 속도로 감소하며, 이는 $ p o iginfty $ 일 때 확률적 수렴을 의미한다.