[논문 리뷰] A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning

Alicia Curth, Alan Jeffares외 1명|arXiv (Cornell University)|2023. 10. 29.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 비모수적 스무딩 기반의 효과적 파라미터 수를 도입함으로써, 고전적 기계학습 모델에서 이중 내림표현(double descent)의 해석을 도전한다. 연구자들은 테스트 오차의 명백한 두 번째 내림표현이 다중 복잡도 축을 혼합한 결과물임을 보여주며, 복잡도를 적절히 측정할 경우 이중 내림표현이 사라지고 전통적인 U자형 곡선으로 복귀됨을 입증한다. 이는 이중 내림표현과 고전적 통계이론 간의 갈등을 해소한다.

ABSTRACT

Conventional statistical wisdom established a well-understood relationship between model complexity and prediction error, typically presented as a U-shaped curve reflecting a transition between under- and overfitting regimes. However, motivated by the success of overparametrized neural networks, recent influential work has suggested this theory to be generally incomplete, introducing an additional regime that exhibits a second descent in test error as the parameter count p grows past sample size n - a phenomenon dubbed double descent. While most attention has naturally been given to the deep-learning setting, double descent was shown to emerge more generally across non-neural models: known cases include linear regression, trees, and boosting. In this work, we take a closer look at evidence surrounding these more classical statistical machine learning methods and challenge the claim that observed cases of double descent truly extend the limits of a traditional U-shaped complexity-generalization curve therein. We show that once careful consideration is given to what is being plotted on the x-axes of their double descent plots, it becomes apparent that there are implicitly multiple complexity axes along which the parameter count grows. We demonstrate that the second descent appears exactly (and only) when and where the transition between these underlying axes occurs, and that its location is thus not inherently tied to the interpolation threshold p=n. We then gain further insight by adopting a classical nonparametric statistics perspective. We interpret the investigated methods as smoothers and propose a generalized measure for the effective number of parameters they use on unseen examples, using which we find that their apparent double descent curves indeed fold back into more traditional convex shapes - providing a resolution to tensions between double descent and statistical intuition.

연구 동기 및 목표

• 트리, 부스팅, 선형 회귀와 같은 비신경망 모델에서 이중 내림표현이 고전적 U자형 일반화 곡선을 무너뜨린다는 주장에 도전하기 위해.
• 이중 내림표현 플롯이 암묵적으로 다중 복잡도 축을 결합함으로써 단일 복합 축을 따라 그릴 경우 오해를 낳을 수 있음을 규명하기 위해.
• 스무머(smoothers)의 복잡도를 측정하기 위한 일반화된 효과적 파라미터 수를 제안하기 위해.
• 이중 내림표현이 $p = n$의 해상도 임계점 자체에 기인하는 것이 아니라, 축 전환의 산물임을 입증하기 위해.
• 일반화 오차를 효과적 자유도의 관점에서 재표현함으로써 이중 내림표현을 고전적 통계적 통찰과 조화시키기 위해.

제안 방법

• 트리, 부스팅, 선형 모델을 스무머로 간주하기 위해 비모수적 시각을 도입한다.
• 테스트 입력이 예측에 미치는 영향을 기반으로 한 효과적 파라미터 수 $p^{ ext{test}}_{ ilde{ extbf{s}}}$ 를 정의하며, 스무딩 행렬의 트레이스를 사용한다.
• 원래의 모델 파라미터나 하이퍼파rameter 대신, 이 효과적 파라미터 수를 일반화 플롯의 x축으로 사용한다.
• 트리 및 부스팅 모델에서 하이퍼파rameter 별 축(예: 트리 깊이와 추정기 수)을 분해하여 이중 내림표현을 분석한다.
• $p^{ ext{test}}_{ ilde{ extbf{s}}}$ 를 사용해 일반화 곡선을 재구성함으로써, 두 번째 내림표현이 사라지고 곡선이 볼록한 형태로 나타남을 보여준다.
• 선형 회귀에 최소 노름 해를 적용한 경우, 이에 대해 동일한 프레임워크를 적용하여 비지도 차원 축소와 효과적 자유도를 연결한다.

실험 결과

연구 질문

• RQ1 비딥러닝 모델에서 관측된 이중 내림표현이 고전적 U자형 일반화 곡선에서의 진정한 이탈인가?
• RQ2 모델 파라미터 수가 표본 크기 초과 시 이중 내림표현 플롯에서 두 번째 내림표현이 발생하는 원인란 무엇인가?
• RQ3 이중 내림표현이 다중 복잡도 축을 혼합한 결과물로 설명될 수 있는가, 즉 모델 행동의 근본적 변화가 아니라?
• RQ4 효과적 파라미터 수로 복잡도를 측정하면 이들 모델에서 고전적 U자형 곡선이 복원되는가?
• RQ5 효과적 파라미터 수는 다양한 모델 유형에서 $p = n$의 해상도 임계점과 어떻게 관련이 있는가?

주요 결과

• 트리 및 부스팅 모델에서의 이중 내림표현은 트리 깊이와 추정기 수와 같은 다중 하이퍼파rameter를 순차적으로 증가시킴으로써 발생하며, 단일 복잡도 축이 아니라서이다.
• 각각의 축별로 그릴 경우 트리 깊이와 추정기 수 모두 고전적 U자형 곡선을 보이며, 이는 고전 이론에서의 본질적 이탈이 아님을 시사한다.
• 이중 내림표현 플롯에서의 두 번째 내림표현은 정확히 이러한 기저 복잡도 축 간의 전환 지점에서 발생하며, $p = n$에서 본질적으로 발생하는 것은 아니다.
• 최소 노름 해를 가진 선형 회귀의 경우, 효과적 파라미터 수 $p^{ ext{test}}_{ ilde{ extbf{s}}}$ 는 해상도 임계점 이후에도 증가하지 않고 유한하게 유지된다.
• 테스트 오차를 $p^{ ext{test}}_{ ilde{ extbf{s}}}$ 를 기준으로 플롯할 경우, 트리, 부스팅, RFF 회귀를 포함한 모든 테스트 모델에서 이중 내림표현 곡선이 볼록한 U자형 곡선으로 붕괴됨을 확인하였다.
• 최고의 성능을 보이는 해상도 모델(학습 오차가 0인 모델)은 항상 $p^{ ext{test}}_{ ilde{ extbf{s}}}$ 가 가장 낮은 모델이었으며, 이는 효과적 파라미터 수의 예측 능력을 뒷받침한다.