[논문 리뷰] Learning sparse features can lead to overfitting in neural networks

Leonardo Petrini, Francesco Cagnetta외 2명|arXiv (Cornell University)|2022. 06. 24.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 오버파ram터화된 신경망에서 특징 학습이 희박한 표현의 출현으로 인해 과적합을 유도할 수 있음을 보여주며, 이는 예측자의 스무쓰함을 떨어뜨리고 일반화 성능을 악화시킨다. 반면, 뉴런 전파(NTK)를 통한 레이지 트레이닝은 더 스무쓰하고 더 강건한 예측자를 제공하며, 특히 이미지 왜곡과 같은 부드러운 입력 변환에 대한 불변성을 요구하는 작업에서 유리하다.

ABSTRACT

It is widely believed that the success of deep networks lies in their ability to learn a meaningful representation of the features of the data. Yet, understanding when and how this feature learning improves performance remains a challenge: for example, it is beneficial for modern architectures trained to classify images, whereas it is detrimental for fully-connected networks trained for the same task on the same data. Here we propose an explanation for this puzzle, by showing that feature learning can perform worse than lazy training (via random feature kernel or the NTK) as the former can lead to a sparser neural representation. Although sparsity is known to be essential for learning anisotropic data, it is detrimental when the target function is constant or smooth along certain directions of input space. We illustrate this phenomenon in two settings: (i) regression of Gaussian random functions on the d-dimensional unit sphere and (ii) classification of benchmark datasets of images. For (i), we compute the scaling of the generalization error with number of training points, and show that methods that do not learn features generalize better, even when the dimension of the input space is large. For (ii), we show empirically that learning features can indeed lead to sparse and thereby less smooth representations of the image predictors. This fact is plausibly responsible for deteriorating the performance, which is known to be correlated with smoothness along diffeomorphisms.

연구 동기 및 목표

• 특징 학습이 다른 작업에서는 유익함에도 불구하고 이미지 분류 작업에서 성능을 떨어뜨리는 이유를 이해하기 위해.
• 특히 고차원 입력 공간에서 일반화 오차에 대한 표현의 희박성의 역할을 조사하기 위해.
• 특징 학습이 단순한 회귀 작업에서는 성공함에도 불구하고 이미지 데이터셋에서는 실패하는 역설을 설명하기 위해.
• 예측자의 스무쓰함과 입력 변환에 대한 불변성 측면에서 특징 학습과 레이지 트레이닝의 암묵적 편향을 명확히 하기 위해.
• 신경 표현의 희박성이 미분형 변형과 부드러운 왜곡에 대한 강건성을 떨어뜨려 일반화 성능을 악화시킬 수 있음을 보여주기 위해.

제안 방법

• 무한 넓이의 완전히 연결된 네트워크를 사용하여 d차원 단위 구면 상에서 무작위 부드러운 함수의 회귀를 레이지(NTK) 및 특징 학습(평균장) 영역에서 연구하기 위해.
• NTK 근사로 레이지 트레이닝을 모델링하고, 평균장 근사로 특징 학습을 모델링하며, 분석적·수치적으로 모두 접근하기 위해.
• 해결책의 지지 구조를 분석하여 특징 학습이 활성 뉴런 수가 적은 원자적(희박한) 표현을 유도함을 보여주기 위해.
• 평균장 근사를 시뮬레이션하기 위해 α-트릭을 사용하고, 명시적 정규화 없이도 훈련된 네트워크에서의 희박성을 실증적으로 검증하기 위해.
• 미분형 변형과 이동에 대한 민감도를 통해 예측자의 스무쓰함을 정량화하고, 레이지 및 특징 학습 영역을 비교하기 위해.
• 실제 이미지 왜곡을 시뮬레이션하기 위해 미분형의 최대 엔트로피 모델을 사용하고, 예측자의 강건성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 특징 학습이 단순한 회귀 작업에서는 성능을 향상시키지만 이미지 분류 작업에서는 성능을 떨어뜨리는 이유는 무엇인가?
• RQ2 신경 표현의 희박성이 예측자의 스무쓰함과 일반화에 어떤 영향을 미치는가?
• RQ3 고차원 입력 공간에서 레이지 트레이닝 영역(NTK)이 특징 학습 영역보다 얼마나 더 스무쓰한 예측자를 제공하는가?
• RQ4 다른 훈련 영역은 이미지 왜곡이나 이동과 같은 부드러운 입력 변형에 대해 얼마나 민감한가?
• RQ5 특징 학습과 레이지 트레이닝 간의 성능 격차는 무시할 수 없는 입력 변화에 대한 불변성의 차이로 설명될 수 있는가?

주요 결과

• 특징 학습은 명시적 정규화 없이도 훈련 후 활성 뉴런 수가 적은 희박한 표현을 유도한다.
• NTK(레이지 트레이닝) 영역은 특히 부드러운 목표 함수에 대해 구상에서의 회귀 작업에서 특징 학습보다 더 잘 일반화된다.
• 일반화 오차는 NTK 하에서 더 유리하게 척도가 조절되며, 입력 차원이 증가함에 따라 특징 학습의 척도는 더 악화된다.
• 특징 학습은 더 스무쓰하지 않은 예측자를 생성하여, 이는 왜곡과 부드러운 왜곡에 더 민감하며, 이는 성능 저하와 상관관계가 있다.
• 실증적으로 특징 학습은 경계 픽셀 손상과 같은 무시할 수 없는 입력 변화에 대해 더 낮은 불변성을 보이며, 반면 레이지 트레이닝은 더 좋은 불변성을 유지한다.
• 특징 학습과 레이지 트레이닝 간의 성능 격차는 경계 노이즈에 대한 민감도로 설명되지 않으며, 오히려 이미지 분류 작업에서 더 관련성이 높은 왜곡에 대한 민감도로 설명된다.