[논문 리뷰] A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent

Zhenyu Liao, Romain Couillet외 1명|arXiv (Cornell University)|2020. 06. 08.

Random Matrices and Applications참고 문헌 61인용 수 39

한 줄 요약

이 논문은 표본 크기 $n$, 입력 차원 $p$, 특징 차원 $N$ 가 모두 커지고 유사한 비율로 증가하는 고차원 영역에서 랜덤 푸리에 특징(RFF) 회귀의 정밀한 랜덤 행렬 이론 분석을 제시한다. 훈련 오차와 테스트 오차에 대한 정확한 점근적 표현을 유도하며, $N/n \approx 1/2$ 에서 과적합과 과소적합 영역 사이의 날카로운 단계 전이를 드러내고, 강한 분포 가정에 의존하지 않고 RFF 리지 회귀에서 더블 디센트 현상을 설명한다. 결과는 MNIST 및 패션-MNIST와 같은 실세계 데이터셋에서 검증되었다.

ABSTRACT

This article characterizes the exact asymptotics of random Fourier feature (RFF) regression, in the realistic setting where the number of data samples $n$, their dimension $p$, and the dimension of feature space $N$ are all large and comparable. In this regime, the random RFF Gram matrix no longer converges to the well-known limiting Gaussian kernel matrix (as it does when $N o \infty$ alone), but it still has a tractable behavior that is captured by our analysis. This analysis also provides accurate estimates of training and test regression errors for large $n,p,N$. Based on these estimates, a precise characterization of two qualitatively different phases of learning, including the phase transition between them, is provided; and the corresponding double descent test error curve is derived from this phase transition behavior. These results do not depend on strong assumptions on the data distribution, and they perfectly match empirical results on real-world data sets.

연구 동기 및 목표

• 표본 크기 $n$, 입력 차원 $p$, 특징 차원 $N$ 가 모두 크고 유사한 비율로 증가하는 현실적인 고차원 영역에서 RFF 회귀를 분석하는 것.
• RFF 그램 행렬의 점근적 행동을 기술하는 것, 이는 $N$ 이 $n$ 과 $p$ 에 비해 점근적으로 크지 않을 때 가우시안 커널 근사가 실패하는 영역에서의 경우이다.
• 일반적인 데이터 분포 하에서 RFF 리지 회귀의 훈련 및 테스트 오차에 대한 정밀한 점근적 표현을 도출하는 것.
• 과적합과 과소적합 학습 영역 사이의 단계 전이를 식별하고, 더블 디센트 현상과의 연결 고리를 설명하는 것.

제안 방법

• 이중 점근적 영역 $n, p, N \to \infty$ 에서 비율 $n/N \to c$ 를 고려하여, RFF 그램 행렬 $\Sigma_X^T \Sigma_X / N$ 의 점근적 결정성 등가(A.D.E.)를 유도하기 위해 랜덤 행렬 이론을 사용한다.
• 마르첸코-파스트르 유형의 방정식을 적용하여 그램 행렬의 리졸베이트를 특성화함으로써, 리지 회귀 성능의 정확한 점근적 분석을 가능하게 한다.
• A.D.E. 와 리졸베이트 트레이스를 기반으로 코시와 사인과 같은 일반적인 리프시츠 비선형성에서의 점근적 훈련 및 테스트 오차에 대한 닫힌 형태의 표현을 유도한다.
• RFF 그램 행렬과 한계 가우시안 커널 간의 스펙트럼 노름 불일치를 보완하기 위해 보정 항을 도입한다.
• 분포 이탈 상황에서 일반화 성능을 연구하기 위해 훈련-테스트 유사도를 노이즈가 첨가된 데이터 행렬 $\hat{X} = X + \sigma \varepsilon$ 으로 모델링한다.
• MNIST, 패션-MNIST, 칸다다-MNIST 데이터셋에서 다양한 $N$, $n$, $\lambda$ 를 사용하여 광범위한 실험을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 RFF 그램 행렬은 $n$, $p$, $N$ 이 동시에 유사한 비율로 증가할 때, $N \to \infty$ 근사가 아닌 상황에서 어떻게 점근적으로 행동하는가?
• RQ2 RFF 리지 회귀에서 과적합과 과소적합 영역 사이의 정확한 단계 전이 지점은 무엇이며, 더블 디센트 곡선과의 관계는 어떠한가?
• RQ3 랜덤 행렬 이론으로 유도된 점근적 오차 추정치는 실세계 데이터에서의 실측 결과와 얼마나 정확한가?
• RQ4 노이즈로 모델링된 훈련-테스트 분포 불일치가 RFF 회귀에서 일반화 오차에 어떤 영향을 미치는가?

주요 결과

• 표본 크기 $n$, 입력 차원 $p$, 특징 차원 $N$ 이 모두 크고 유사한 비율일 때, RFF 그램 행렬 $\Sigma_X^T \Sigma_X / N$ 은 스펙트럼 노름에서 가우시안 커널 행렬로 수렴하지 않으며, 이는 고전적 점근적 근사의 실패를 의미한다.
• 정확한 단계 전이가 $N/n \approx 1/2$ 에서 발생하며, 이는 테스트 오차가 날카롭게 피크를 이룬다. 이는 과적합과 과소적합 영역의 경계를 나타낸다.
• RFF 리지 회귀에서 더블 디센트 곡선은 단계 전이로부터 자연스럽게 유도되며, 테스트 오차는 감소하다가 $2N = n$ 에서 피크를 이르고, 이후 $N$ 이 $n/2$ 를 초과할수록 단조롭게 감소한다.
• A.D.E. 와 리졸베이트 트레이스를 기반으로 유도된 이론적 점근적 훈련 및 테스트 오차 추정치는 MNIST, 패션-MNIST, 칸다다-MNIST에서 실측 결과와 매우 유사하게 일치하며, 중간 크기의 $n$, $p$, $N$ 에서도 정확하다.
• 훈련-테스트 유사도를 노이즈 $\varepsilon$ 를 통해 모델링할 경우, 테스트 오차는 노이즈 분산 $\sigma^2$ 가 정규화 파rameter $\lambda$ 를 초과할 때 정확히 훈련 오차와 다름을 보이며, 이는 이론적 예측의 날카로운 전이가 $\sigma^2 \approx \lambda$ 에서 발생한다는 것을 확인한다.
• 비정규 분포를 가진 데이터에서도 점근적 분석이 정확하게 유지되며, 다양한 클래스와 특징 차원에서 실세계 이미지 데이터셋과의 강한 일치를 통해 이를 입증하였다.