[논문 리뷰] Conditioning of Random Feature Matrices: Double Descent and Generalization Error

Zhijun Chen, Hayden Schaeffer|arXiv (Cornell University)|2021. 10. 21.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 정규화 없이도 랜덤 특징 행렬의 조건수에 대해 고확률 경계를 수립하며, 복잡도 비율 $N/m$이 $\log^{-1}(N)$ 또는 $\log(m)$ 비율로 증가할 때 조건수가 잘 유지됨을 보여준다. 일반화 오차의 더블 디센트 현상과 조건수의 행동을 연결하여, 최소 제곱법, 최소 노름 보간법, 희소 회귀에 대해 $m$과 $N$에 대해 최적의 스케일링을 보이는 명시적 리스크 경계를 도출한다. 이 경계는 데이터 차원에 영향을 받지 않는다.

ABSTRACT

We provide (high probability) bounds on the condition number of random feature matrices. In particular, we show that if the complexity ratio $\frac{N}{m}$ where $N$ is the number of neurons and $m$ is the number of data samples scales like $\log^{-1}(N)$ or $\log(m)$, then the random feature matrix is well-conditioned. This result holds without the need of regularization and relies on establishing various concentration bounds between dependent components of the random feature matrix. Additionally, we derive bounds on the restricted isometry constant of the random feature matrix. We prove that the risk associated with regression problems using a random feature matrix exhibits the double descent phenomenon and that this is an effect of the double descent behavior of the condition number. The risk bounds include the underparameterized setting using the least squares problem and the overparameterized setting where using either the minimum norm interpolation problem or a sparse regression problem. For the least squares or sparse regression cases, we show that the risk decreases as $m$ and $N$ increase, even in the presence of bounded or random noise. The risk bound matches the optimal scaling in the literature and the constants in our results are explicit and independent of the dimension of the data.

연구 동기 및 목표

• 고차원 회귀 설정에서 랜덤 특징 행렬의 조건수를 이해하기 위해.
• 정규화 없이도 랜덤 특징 행렬의 극단적 특이값과 조건수에 대해 고확률 경계를 수립하기 위해.
• 일반화 오차의 더블 디센트 행동을 설계 행렬의 조건수와 연결하기 위해.
• 랜덤 특징을 사용한 최소 제곱법, 최소 노름 보간법, 희소 회귀에 대해 차원에 의존하지 않는 명시적 리스크 경계를 유도하기 위해.
• 일반화 오차가 $m$과 $N$이 증가함에 따라 감소함을 보여주며, 유한하거나 랜덤 노이즈가 존재하더라도 성립함을 보여주기 위해.

제안 방법

• 랜덤 행렬 이론을 사용하여 랜덤 특징 행렬의 종속된 성분에 대한 농도 경계를 유도한다.
• 랜덤 특징 사상의 그람 행렬을 분석하여 극단적 특이값과 조건수를 경계한다.
• 랜덤 특징 행렬의 제한된 등장성 상수(RIC)에 대한 경계를 수립한다.
• 압축 측정에서의 강건한 복원 결과를 활용하여 근사 오차와 희소성 및 특징 품질 간의 관계를 연결한다.
• 고확률 부등식을 적용하여 조건수의 기대 행동에서의 편차를 제어한다.
• 조건수, 복원 오차, 일반화 오차를 연결하는 부등식의 사슬을 통해 리스크 경계를 도출한다.

실험 결과

연구 질문

• RQ1 복잡도 비율 $N/m$이 어떤 조건에서 정규화 없이도 랜덤 특징 행렬이 고확률로 잘 조절된 상태가 되는가?
• RQ2 랜덤 특징 행렬의 조건수가 일반화 오차의 더블 디센트 현상에 어떻게 기여하는가?
• RQ3 정규화 없이도 랜덤 특징을 사용한 회귀의 리스크 경계를 도출할 수 있으며, 그 스케일링은 최적인가?
• RQ4 최소 제곱법, 최소 노름 보간법, 희소 회귀의 리스크 경계는 $m$, $N$, 그리고 데이터 차원에 대해 어떻게 달라지는가?
• RQ5 활성화 함수와 가중치 분포는 조건수와 일반화 성능에 어떤 역할을 하는가?

주요 결과

• 정규화 없이도 $N/m \asymp \log^{-1}(N)$ 또는 $\log(m)$일 때 랜덤 특징 행렬이 고확률로 잘 조절된 상태가 된다.
• 일반화 오차의 더블 디센트 현상은 설계 행렬의 조건수의 더블 디센트 행동에 의해 직접적으로 이끌린다.
• 최소 제곱법과 희소 회귀의 리스크 경계는 $\mathcal{O}(N^{-1} + m^{-1/2})$ 스케일을 보이며, 명시적이고 차원에 의존하지 않는 상수를 가진다.
• 최소 노름 보간법의 경우, 유한하거나 랜덤 노이즈가 존재하더라도 정규화 없이도 $m$과 $N$이 증가함에 따라 리스크가 감소한다.
• 조건수 하한선은 $N = m$에서의 악조건화를 확인하며, 이는 해석 임계점에서 일반화 오차의 피크를 설명한다.
• 이론적 경계는 문헌에서 알려진 최적 스케일링과 일치하며, 상수는 명시적이며 데이터 차원 $d$에 영향을 받지 않는다.