[논문 리뷰] The Slow Deterioration of the Generalization Error of the Random Feature Model

Chao Ma, Lei Wu외 1명|arXiv (Cornell University)|2020. 08. 13.

Random Matrices and Applications참고 문헌 17인용 수 5

한 줄 요약

이 논문은 m/n = 1에 가까운 임계점 γ = m/n 근처에서 무작위 특징 모델의 일반화 오차가 느리게 발전하는 이유를 조사한다. 여기서 그람 행렬은 작은 고유값을 보이며 테스트 오차의 '이중 하강' 현상을 유도한다. 연구는 그라디언트 디센트 동역학이 이러한 작은 고유값으로 인해 둑속이지, 테스트 오차가 저수준을 유지하는 장기간의 기간이 이어지며 악화되기 이르기까지 지속된다고 밝힌다. 이는 정밀 조정 없이도 효과적인 조기 정지가 가능하게 한다.

ABSTRACT

The random feature model exhibits a kind of resonance behavior when the number of parameters is close to the training sample size. This behavior is characterized by the appearance of large generalization gap, and is due to the occurrence of very small eigenvalues for the associated Gram matrix. In this paper, we examine the dynamic behavior of the gradient descent algorithm in this regime. We show, both theoretically and experimentally, that there is a dynamic self-correction mechanism at work: The larger the eventual generalization gap, the slower it develops, both because of the small eigenvalues. This gives us ample time to stop the training process and obtain solutions with good generalization property.

연구 동기 및 목표

• 매개변수 수 m이 학습 샘플 수 n에 가까울 때 무작위 특징 모델에서 그라디언트 디센트의 동적 행동을 이해한다.
• 모델이 과소파rametrized임에도 불구하고 γ = m/n = 1 근처에서 일반화 오차가 정점에 도달하는 이유를 조사한다.
• 이론적 최악의 일반화 오차(최소 노름 해)와 실질적 성능(그라디언트 디센트로 조기 정지) 사이의 관측된 괴리를 설명한다.
• 그람 행렬의 작은 고유값이 학습 중 큰 일반화 오차의 발생을 지연시키는 데서 수행하는 역할을 규명한다.
• 과소파arametrized 영역에서 나쁜 일반화를 피하기 위해 조기 정지가 효과적인 이유를 이론적 및 실증적으로 정당화한다.

제안 방법

• 무작위 특징 모델과 관련된 커널 연산자의 스펙트럼 공간에서 그라디언트 디센트 동역학을 분석한다.
• 일반화 오차를 세 영역으로 분해한다: 지수 감소, 안정된 저오차, 작은 고유값으로 인한 점진적 악화.
• 그람 행렬의 스펙트럼 분해를 사용하여 해 경로와 오차의 시간에 따른 변화를 모델링한다.
• 고유값 감쇠 및 목표 함수의 밴드제한 성질에 대한 가정을 바탕으로 일반화 오차의 이론적 경계를 수립한다.
• 안정된 저오차 단계의 지속 시간에 대한 점근적 추정을 유도하여, 합리적인 고유값 감쇠 가정 하에 n^{1/4} 비례함을 보인다.
• MNIST에서 n=500를 고정하고 m를 다양하게 설정한 수치 실험을 통해 결과를 검증하며, 학습 반복 동안 테스트 오차와 가장 작은 고유값을 추적한다.

실험 결과

연구 질문

• RQ1 모델이 과소파arametrized임에도 불구하고 최소 노름 해의 일반화 오차가 m ≈ n에서 날카럽게 정점에 도달하는 이유는 무엇인가?
• RQ2 작은 그람 행렬 고유값이 존재함에도 불구하고, m = n 근처에서 그라디언트 디센트 동역학이 큰 일반화 오차의 발생을 어떻게 지연시키는가?
• RQ3 테스트 오차가 악화되기 전까지 저수준을 유지하는 안정 단계의 지속 시간은 얼마이며, 문제 크기와 어떻게 스케일링되는가?
• RQ4 조기 정지는 최소 노름 해에서 관측된 열악한 일반화 행동을 효과적으로 피할 수 있는가, 그리고 그 이유는 무엇인가?
• RQ5 실제 데이터 및 커널 가정 하에서 오차 동역학에 대한 이론적 예측은 어느 정도 타당한가?

주요 결과

• 최소 노름 해의 일반화 오차는 그람 행렬에 매우 작은 고유값이 나타나면서 m ≈ n에서 날카롭게 정점에 도달한다.
• 이 정점에도 불구하고, 100만 번의 반복 동안 훈련된 실질적 그라디언트 디센트 해는 m = n에서 테스트 오차가 약간 상승하는 것으로 나타나, 동적 자기보정 메커니즘이 존재함을 시사한다.
• 테스트 오차의 느린 악화는 문제의 해 공간에서 문제가 되는 부분공간의 영향을 지연시키는 작은 고유값으로 인해 발생한다.
• 악화가 시작되기 이르기까지 안정된 저오차 단계의 지속 시간은 최소 n^{1/4} 비례하며, 이는 효과적인 조기 정지를 위한 긴 윈도우를 의미한다.
• 수치 실험은 그람 행렬의 가장 작은 고유값이 m ≈ n일 때에만 매우 작다는 것을 확인하였으며, 이는 Marchenko-Pastur 분포와 일치한다.
• 이론적 분석은 일반화 오차가 상당한 시간 간격 동안 O(n^{-1/4})로 유계임을 보여주며, 실질적으로 조기 정지가 강건한 이유를 설명한다.