[논문 리뷰] A Random Matrix Perspective on Mixtures of Nonlinearities for Deep Learning

Ben Adlam, Jake Levinson외 1명|arXiv (Cornell University)|2019. 12. 02.

Random Matrices and Applications참고 문헌 42인용 수 17

한 줄 요약

이 논문은 데이터 크기와 모델 너비가 모두 커지는 고차원 설정에서 비선형성의 혼합을 포함한 랜덤 특징 회귀를 분석하기 위해 랜덤 행렬 이론 프레임워크를 제안한다. 훈련 오차와 테스트 오차에 대한 정확한 점근적 공식을 유도하여, 학습된 비선형성 혼합이 최적의 단일 비선형성보다 기억 용량과 일반화 성능에서 뛰어나다는 것을 보여주며, 커널 방법과 신경망 아키텍처 설계에 대한 새로운 통찰을 제공한다.

ABSTRACT

One of the distinguishing characteristics of modern deep learning systems is that they typically employ neural network architectures that utilize enormous numbers of parameters, often in the millions and sometimes even in the billions. While this paradigm has inspired significant research on the properties of large networks, relatively little work has been devoted to the fact that these networks are often used to model large complex datasets, which may themselves contain millions or even billions of constraints. In this work, we focus on this high-dimensional regime in which both the dataset size and the number of features tend to infinity. We analyze the performance of random feature regression with features $F=f(WX+B)$ for a random weight matrix $W$ and random bias vector $B$, obtaining exact formulae for the asymptotic training and test errors for data generated by a linear teacher model. The role of the bias can be understood as parameterizing a distribution over activation functions, and our analysis directly generalizes to such distributions, even those not expressible with a traditional additive bias. Intriguingly, we find that a mixture of nonlinearities can improve both the training and test errors over the best single nonlinearity, suggesting that mixtures of nonlinearities might be useful for approximate kernel methods or neural network architecture design.

연구 동기 및 목표

• 데이터셋 크기와 모델 너비가 모두 무한대에 수렴하는 고차원 영역에서 딥 러닝 모델의 성능을 이해하기 위해.
• 랜덤 가중치와 편향 분포에 의해 유도된 비선형성을 포함한 랜덤 특징 회귀를 분석하기 위해.
• 비선형성의 혼합이 최적의 단일 비선형성보다 일반화와 기억 용량을 향상시킬 수 있는지 조사하기 위해.
• 선형 선생 모델 하에서 훈련 오차와 테스트 오차에 대한 정확한 점근적 표현을 도출하기 위해.
• 커널 행렬의 스펙트럼 분석을 비정규 분포 데이터와 비영 편향 분포로 확장하기 위해.

제안 방법

• 랜덤 행렬 이론을 사용하여 $ F^ op F $의 리솔베이트를 분석하며, 여기서 $ F = f(WX + B) $ 이고 $ W $와 $ B $는 랜덤이다.
• 스펙트럼 성질을 유지하는 서rogate 선형화 $ F^{ ext{lin}} $를 도입하여 분석을 가능하게 한다.
• 노이즈가 있는 오토에코딩 작업에서 점근적 훈련 오차와 선형 선생 모델 하에서의 테스트 오차에 대한 정확한 공식을 유도한다.
• 리솔베이트 방법을 적용하여 커널 행렬의 고유값 밀도를 특성화하며, 이는 이전 결과를 비정규 분포 및 비영 편향 설정으로 일반화한다.
• 연산자 값 자유 확률론을 사용하여 테스트 오차를 계산하고, 결과를 일반화된 교차검증(GCV) 지표와 연결한다.
• 기울기가 다른 리 leaky ReLU와 같은 활성화 함수에 대한 시뮬레이션을 통해 이론적 예측을 검증하며, 이론과 높은 일치를 보인다.

실험 결과

연구 질문

• RQ1 고차원 랜덤 특징 모델에서 비선형성 혼합이 최적의 단일 비선형성보다 훈련 오차와 테스트 오차 측면에서 뛰어나게 되는가?
• RQ2 편향 분포가 활성화 함수의 가족을 어떻게 매개변수화하는가? 이는 일반화와 기억 용량에 어떤 영향을 미치는가?
• RQ3 데이터 크기와 모델 너비가 모두 커질 때 훈련 오차와 테스트 오차의 정확한 점근적 행동은 어떻게 되는가?
• RQ4 커널 행렬 $ F^ op F $의 스펙트럼 밀도는 입력 데이터 분포와 사용된 비선형성에 어떻게 의존하는가?
• RQ5 유도된 테스트 오차와 랜덤 특징 모델에서 일반화된 교차검증(GCV) 지표 사이에 더 깊은 연결이 존재하는가?

주요 결과

• 비선형성 혼합은 최적의 단일 비선형성조차도 초월하여 더 낮은 테스트 오차와 더 뛰어난 기억 용량을 달성한다.
• 테스트 오차에 대한 이론적 예측은 점차적으로 일반화된 교차검증(GCV) 지표와 일치하며, GCV와 랜덤 특징 학습 사이에 본질적인 연결이 있음을 시사한다.
• 커널 행렬 $ F^ op F $의 고유값 밀도는 해석적으로 특성화되었으며, 이는 이전 연구를 비정규 분포 데이터와 비영 편향 분포로 확장한 것이다.
• 서rogate 선형화 $ F^{ ext{lin}} $는 $ F $의 스펙트럼 정보를 유지하며, 오차 공식의 정확한 계산을 가능하게 한다.
• 시뮬레이션 결과는 이론적 예측과 실증 결과 사이에 뛰어난 일치를 보이며, 단일 샘플 조건에서도 점근적 공식의 타당성을 검증한다.
• 최적의 단일 비선형성과 최적의 혼합 사이의 성능 격차는 수치적으로 감지 가능하며, 이는 혼합이 진정으로 유리한 성능을 제공한다는 것을 확인한다.