Skip to main content
QUICK REVIEW

[논문 리뷰] Universality of empirical risk minimization

Andrea Montanari, Basil N. Saeed|arXiv (Cornell University)|2022. 02. 17.
Machine Learning in Materials ScienceMaterials Science인용 수 23
한 줄 요약

논문은 보편성: 차원이 높은 ERM에서 소수의 투영 벡터를 사용하면 학습 오차와 테스트 오차가 특징 분포를 평균과 공분산을 통해서만 의존하고 가우시안 등가와 일치하며, 무작위 특징 및 신경 접선 모델에 응용이 있다.

ABSTRACT

Consider supervised learning from i.i.d. samples $\{{\boldsymbol x}_i,y_i\}_{i\le n}$ where ${\boldsymbol x}_i \in\mathbb{R}^p$ are feature vectors and ${y} \in \mathbb{R}$ are labels. We study empirical risk minimization over a class of functions that are parameterized by $\mathsf{k} = O(1)$ vectors ${\boldsymbol θ}_1, . . . , {\boldsymbol θ}_{\mathsf k} \in \mathbb{R}^p$ , and prove universality results both for the training and test error. Namely, under the proportional asymptotics $n,p o\infty$, with $n/p = Θ(1)$, we prove that the training error depends on the random features distribution only through its covariance structure. Further, we prove that the minimum test error over near-empirical risk minimizers enjoys similar universality properties. In particular, the asymptotics of these quantities can be computed $-$to leading order$-$ under a simpler model in which the feature vectors ${\boldsymbol x}_i$ are replaced by Gaussian vectors ${\boldsymbol g}_i$ with the same covariance. Earlier universality results were limited to strongly convex learning procedures, or to feature vectors ${\boldsymbol x}_i$ with independent entries. Our results do not make any of these assumptions. Our assumptions are general enough to include feature vectors ${\boldsymbol x}_i$ that are produced by randomized featurization maps. In particular we explicitly check the assumptions for certain random features models (computing the output of a one-layer neural network with random weights) and neural tangent models (first-order Taylor approximation of two-layer networks).

연구 동기 및 목표

  • 특징화 맵이 있는 고차원 설정에서 경험적 위험 최소화를 동기화한다.
  • 비례적 점근에서 학습 오차의 보편성과 규칙성 하의 테스트 오차를 확립한다.
  • 비가우시안 특징 분석을 가우시안 등가로 축소하는 증명 프레임워크를 개발한다.
  • 무작위 특징 모델과 신경 접선 규칙에 대한 적용 가능성을 보여준다.

제안 방법

  • 특징 행렬 X와 비례적 n,p→∞에서 가우시안 대응물 G를 두고 ERM을 형식화한다( n/p=Θ(1) ).
  • 가우시안 치환하에서 학습 오차 minΘ R̂n(Θ;X,y)와 테스트 오차 Rn(Θ)의 보편적 극을 정의한다.
  • 가정 1–5(손실/레이블, 제약 집합, 분포 매개변수, 정규화, 점별 정규성) 를 도입한다.
  • 연속적인 sin/cos 블렌드로 X와 G 사이의 보간 경로와 다항 근사 기법을 이용해 학습 오차의 보편성을 증명한다.
  • 근사치를 넘어서는 근사 로버스트 최적해(ERMt)에서의 테스트 오차의 보편성을 증명하고, 정리 2, 3에서 Rn^x 대 Rn^g의 보편성을 위한 조건을 제시한다.
  • 결과를 무작위 특징 맵과 신경 접선 모델의 두 가지 특징화 맵 클래스에 적용한다.

실험 결과

연구 질문

  • RQ1고차원 다중 투영 특징을 가진 ERM의 학습 오차가 특징 분포에 대해 보편성을 보이는가?
  • RQ2근사적 위험 근사화 근처의 테스트 오차도 추가 규칙성 하에서 보편성을 보이는가?
  • RQ3가우시안 특징이 아닌 비가우시안, 종속 특징 맵들(무작위 특징 및 신경 접선 표현 등)으로도 보편성이 확장될 수 있는가?
  • RQ4손실, 정규화 및 데이터 분포에 대한 실용적 조건은 무엇이며 일반 모델에서 이를 어떻게 검증할 수 있는가?

주요 결과

  • 학습 오차는 보편적이다: 가정 1–5가 성립하면 그 점근적 값이 가우시안 등가 모델의 값과 일치한다.
  • 규칙성 하에서 근사 최적해들에 대한 테스트 오차도 보편적이며, 가우시안 모델 분석으로 실제 성능을 예측할 수 있다.
  • 보편성은 무작위 특징 맵과 신경 접선 모델 모두에 적용되며, 강한 볼록성이나 독립적 특징 엔트리를 필요로 하지 않는다.
  • 연속적 보간법(Interpolation method)과 다항 근사법은 비볼록 ERM을 다루고 보편성을 도출하는 데 필수적인 기술 도구이다.
  • 결과는 강한 볼록성/비가우시안 설정을 넘어서는 이전의 보편성 연구를 일반화하며 독립적 특징 엔트리에 의존하지 않는다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.