[논문 리뷰] Generalisation error in learning with random features and the hidden manifold model

Federica Gerace, Bruno Loureiro외 3명|arXiv (Cornell University)|2020. 02. 21.

Gaussian Processes and Bayesian Inference인용 수 32

한 줄 요약

이 논문은 고차원 일반화 선형 모델의 병렬 특징과 숨겨진 매니폴드 모델에 걸친 닫힌 형식의 점근적 일반화 오차를 도출하고, 로지스틱 로스에서 이중 감소를 드러내며, 직교(projection) 대 가우시안(Gaussian) 특징 프로젝션을 비교한다.

ABSTRACT

We study generalised linear regression and classification for a synthetically generated dataset encompassing different problems of interest, such as learning with random features, neural networks in the lazy training regime, and the hidden manifold model. We consider the high-dimensional regime and using the replica method from statistical physics, we provide a closed-form expression for the asymptotic generalisation performance in these problems, valid in both the under- and over-parametrised regimes and for a broad choice of generalised linear model loss functions. In particular, we show how to obtain analytically the so-called double descent behaviour for logistic regression with a peak at the interpolation threshold, we illustrate the superiority of orthogonal against random Gaussian projections in learning with random features, and discuss the role played by correlations in the data generated by the hidden manifold model. Beyond the interest in these particular problems, the theoretical formalism introduced in this manuscript provides a path to further extensions to more complex tasks.

연구 동기 및 목표

• 랜덤 특징과 숨겨진 매니폴드 데이터가 포함된 고차원 설정에서 일반화 이해를 동기화한다.
• 복제 방법(replica method)을 사용하여 점근적 일반화 오차에 대한 닫힌 형식 표현을 유도한다.
• 이중 감소 현상과 특징 행렬 구조가 일반화에 미치는 영향을 분석한다.
• 숨겨진 매니폴드 모델에서 데이터 상관관계의 역할을 설명한다.
• 연구된 모델 너머의 더 복잡한 작업으로 확장 가능한 프레임워크를 제공한다.

제안 방법

• 래드-정규화된 손실과 일반적인 특징 행렬 F를 갖는 고차원 일반화 선형 모델을 형식화한다.
• n,p,d→∞ 한계에서 고정된 α=n/p 와 γ=d/p를 갖는 닫힌 형식의 일반화 오차 표현(Eq. 2.1)을 얻기 위해 복제 방법(replica method)을 적용한다.
• 문제를 가우시안 공분산 선형 모델(Eq. 2.10)로 매핑하기 위해 Gaussian 등가성(GET)을 사용한다.
• 겹침(overlaps: q_s, q_w, m_s) 및 관련量을 얻기 위한 replicated saddle-point 방정식(Eq. 2.4)을 도출한다.
• 학습 손실과 테스트 손실을 Zeta/Y 함수(Eqs. 2.5–2.6)로 평가하고 이중 감소와 같은 관찰 가능한 현상과 연결한다.
• 무작위 가우시안 및 직교 특징 행렬에 걸친 분석적 표현을 수치적으로 검증하는 시뮬레이션을 제공한다.

실험 결과

연구 질문

• RQ1 고차원 일반화 선형 모델에서 랜덤 특징과 숨겨진 매니폴드 구조를 가진 경우의 점근적 일반화 오차는 얼마인가?
• RQ2 특징 행렬의 선택(가우시안 대 직교)이 학습 성능 및 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 이 프레임워크에서 로지스틱 회귀가 이중 감소/보간(interpolation) 정점을 보일 수 있는가, 이 정점은 어디에서 발생하는가?
• RQ4 데이터 차원과 잠재 차원 비율 측면에서 숨겨진 매니폴드 모델의 위상 다이어그램은 어떻게 되는가?
• RQ5 복제 가우시안 등가가 가우시안 공분산 외의 더 일반적인 특징 구조로 확장되는가?

주요 결과

• 고차원 극한에서 일반화 오차 ε_g에 대한 닫힌 형식 표현(Eq. 2.1)을 얻는다.
• 로지스틱 회귀에서 보간 임계값에서 이중 감소 현상이 나타나며, 이는 모델에 일반화된다.
• 랜덤 특징 학습에서 직교 특징 프로젝션이 가우시안 무작위 프로젝션보다 우수하다.
• 환경의 차원 비율에 따라 일반화가 어떻게 달라지는지 설명하는 숨겨진 매니폴드 모델의 위상 다이어그램을 도출한다.
• 복제 가우시안 등가가 문제를 가우시안 공변량 선형 모델(Eq. 2.10)로 매핑하고, 크기가 작아도 시뮬레이션과 일치한다.
• 이 프레임워크는 다양한 손실 함수에 대해 작동하며, 릿지 회귀 및 로지스틱 로스 등 여러 설정에서 정확성을 입증한다.