[논문 리뷰] Implicit Regularization of Random Feature Models

Arthur Paul Jacot, Berfin Şimşek외 3명|arXiv (Cornell University)|2020. 02. 19.

Face and Expression Recognition참고 문헌 35인용 수 8

한 줄 요약

이 논문은 유한한 특징을 가진 랜덤 피처(RF) 모델이 커널 리지 회귀(KRR)에서 효과적인 리지 페널티를 증가시켜 암묵적 정규화를 유도한다는 것을 밝혀낸다. 랜덤 행렬 이론을 통해 기대 RF 예측기와 효과적 리지 $ ilde{ olambda} > olambda$를 가진 KRR 예측기 사이의 유사성을 보이며, 이 $ ilde{ olambda}$는 특징 수 $P$가 증가함에 따라 단조 감소하여 $ olambda$로 수렴함을 보여주며, 이는 유한 표본에서의 암묵적 정규화 효과를 드러낸다. 평균 RF 예측기의 테스트 오차는 경험적 및 이론적으로 $ olambda$-KRR 예측기와 거의 동일하다.

ABSTRACT

Random Feature (RF) models are used as efficient parametric approximations of kernel methods. We investigate, by means of random matrix theory, the connection between Gaussian RF models and Kernel Ridge Regression (KRR). For a Gaussian RF model with $P$ features, $N$ data points, and a ridge $λ$, we show that the average (i.e. expected) RF predictor is close to a KRR predictor with an effective ridge $ ildeλ$. We show that $ ildeλ > λ$ and $ ildeλ \searrow λ$ monotonically as $P$ grows, thus revealing the implicit regularization effect of finite RF sampling. We then compare the risk (i.e. test error) of the $ ildeλ$-KRR predictor with the average risk of the $λ$-RF predictor and obtain a precise and explicit bound on their difference. Finally, we empirically find an extremely good agreement between the test errors of the average $λ$-RF predictor and $ ildeλ$-KRR predictor.

연구 동기 및 목표

• 커널 방법의 근사치이지만 그 점근적 대응보다 덜 이해된 유한한 랜덤 피처(RF) 모델의 일반화 행동을 이해하기 위해.
• 특징 샘플링의 랜덤성으로 인해 RF 모델에서 리지 페널티 조정과 관련하여 암묵적 정규화가 어떻게 유도되는지 조사하기 위해.
• 기대 RF 예측기와 효과적 리지 매개수 $\tilde{\nolambda}$를 가진 KRR 예측기 사이의 공식적 연결을 수립하고, 그로 인한 일반화 오차의 차이를 정량화하기 위해.
• 평균 RF 예측기와 해당 $\tilde{\nolambda}$-KRR 예측기 사이의 리스크 차이에 대한 이론적 경계를 제공하고, 이를 경험적으로 검증하기 위해.

제안 방법

• 유한한 수의 i.i.d. 가우시안 특징과 리지 $\nolambda$를 가진 RF 예측기 $\hat{f}^{(RF)}_{\nolambda}$의 분포를 분석하기 위해 랜덤 행렬 이론을 사용한다.
• 기대 RF 예측기를 유도하고, 이가 효과적 리지 $\tilde{\nolambda} > \nolambda$를 가진 커널 리지 회귀(KRR) 예측기와 밀접하게 근사됨을 보여준다. 이 $\tilde{\nolambda}$는 $P$, $\nolambda$, 그리고 데이터의 그램 행렬에 의존한다.
• 특징 수 $P$가 증가함에 따라 $\tilde{\nolambda}$가 단조 감소하여 $\nolambda$로 수렴함을 입증함으로써, 유한 샘플링에 의한 암묵적 정규화를 드러낸다.
• 고정된 $\gamma = P/N$ 조건 하에서, $\nolambda$-RF 예측기의 기대 리스크와 $\tilde{\nolambda}$-KRR 예측기의 리스크 간의 차이에 대한 명시적 경계를 제공하며, $\mathbb{E}[L(\hat{f}^{(RF)}_{\nolambda})] = L(\hat{f}^{(K)}_{\tilde{\nolambda}}) + \mathcal{O}(P^{-1})$임을 보인다.
• 특징 수 $P$와 데이터에 의존하는 양에 따라 RF 예측기의 평균 주위의 분산을 제어하기 위해 $\mathrm{Var}(\hat{f}^{(RF)}_{\nolambda}(x)) \leq \frac{c_3 K(x,x) \|y\|_{K^{-1}}^2}{P}$의 경계를 제시하며, 이는 $P$가 증가함에 따라 예측기가 평균 주위로 집중됨을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 피처의 유한 샘플링은 RF 모델의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 기대 RF 예측기가 근사하는 효과적 리지 매개수 $\tilde{\nolambda}$는 무엇이며, 이는 명시적 리지 $\nolambda$와 어떻게 관련이 있는가?
• RQ3 평균 RF 예측기의 테스트 오차는 효과적 리지 $\tilde{\nolambda}$를 가진 해당 KRR 예측기와 얼마나 가까운가?
• RQ4 RF 예측기의 분산은 $P$와 데이터에 의존하는 양에 대해 명시적으로 경계할 수 있는가?
• RQ5 RF 모델의 암묵적 정규화는 현대 학습 모델에서 관찰되는 더블 디센트 현상을 설명할 수 있는가?

주요 결과

• 리지 $\nolambda$를 가진 기대 RF 예측기는 효과적 리지 $\tilde{\nolambda} > \nolambda$를 가진 KRR 예측기와 밀접하게 근사되며, 이는 $P$가 유한할 경우 $\nolambda$보다 엄격히 크다.
• $P$가 증가함에 따라 $\tilde{\nolambda}$는 단조 감소하여 $\nolambda$로 수렴함을 보여주며, 이는 유한 샘플링에 의한 암묵적 정규화를 입증한다.
• 고정된 $\gamma = P/N$ 조건 하에서, $\nolambda$-RF 예측기와 $\tilde{\nolambda}$-KRR 예측기 간의 기대 테스트 오차 차이는 $\mathcal{O}(P^{-1})$로 경계되며, 이 경계 상수는 $\nolambda$, $\gamma$, 그리고 데이터에 따라 달라진다.
• 경험적으로, 평균 $\nolambda$-RF 예측기와 $\tilde{\nolambda}$-KRR 예측기의 테스트 오차는 작은 $P$와 $N$에서도 매우 유사함을 발견하였다.
• RF 예측기의 분산은 $\frac{c_3 K(x,x) \|y\|_{K^{-1}}^2}{P}$로 경계되며, 이는 $P$가 증가함에 따라 예측기가 평균 주위로 집중됨을 보여준다.
• 이 결과는 i.i.d. 학습 데이터를 가정하지 않으며, 고정된 학습 데이터와 랜덤 피처 샘플링에만 의존한다.