[논문 리뷰] Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle

Rylan Schaeffer, Mikail Khona외 6명|arXiv (Cornell University)|2023. 03. 24.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 기계학습에서 이중 경향성(double descent)을 규명하기 위해 세 가지 핵심 요소—학습 특징의 작은 특이값, 뒷부분 특이 모드에서의 테스트 특징 변동성, 최적 모델에서의 비영 잔차 오차—를 규명함으로써 현상의 기원을 밝혀낸다. 선형 회귀 분석과 합성 및 실제 데이터에 대한 분석 실험을 통해 저자들은 이러한 요소 중 어느 하나라도 제거되면 이중 경향성이 사라짐을 보이며, 이는 선형 모델과 딥 뉴럴 네트워크와 같은 비선형 모델 모두에서 이중 경향성이 나타나는 데 대한 통합적 설명을 제공한다.

ABSTRACT

Double descent is a surprising phenomenon in machine learning, in which as the number of model parameters grows relative to the number of data, test error drops as models grow ever larger into the highly overparameterized (data undersampled) regime. This drop in test error flies against classical learning theory on overfitting and has arguably underpinned the success of large models in machine learning. This non-monotonic behavior of test loss depends on the number of data, the dimensionality of the data and the number of model parameters. Here, we briefly describe double descent, then provide an explanation of why double descent occurs in an informal and approachable manner, requiring only familiarity with linear algebra and introductory probability. We provide visual intuition using polynomial regression, then mathematically analyze double descent with ordinary linear regression and identify three interpretable factors that, when simultaneously all present, together create double descent. We demonstrate that double descent occurs on real data when using ordinary linear regression, then demonstrate that double descent does not occur when any of the three factors are ablated. We use this understanding to shed light on recent observations in nonlinear models concerning superposition and double descent. Code is publicly available.

연구 동기 및 목표

• 랜덤 행렬 이론과 같은 고급 수학 도구를 사용하지 않고도 이중 경향성이 왜 발생하는지 설명하는 것.
• 선형 모델에서 이중 경향성을 일으키는 세 가지 해석 가능한 상호의존적 요인을 규명하는 것.
• 합성 및 실제 테이블 데이터셋에 대한 분석 실험을 통해 이러한 요소들을 실증적으로 검증하는 것.
• 선형 모델의 통찰을 비선형 딥 러닝 시스템, 특히 일반화와 기억 현상 이해에 확장하는 것.
• 이중 경향성에서 노이즈와 과적합에 대한 오해를 해소하며, 결정론적 잔차 오차가 충분함을 보여주는 것.

제안 방법

• 이중 경향성 행동을 시각적으로 이해하기 위해 레지어 다이어그램 다항 회귀를 사용하고, 기저 함수로 레지어 다항식을 활용하는 방법.
• 학습 특징 행렬 X의 특이값 분해(SVD) 분석을 통해 일반 선형 회귀에서 이중 경향성을 수식적으로 정의하는 것.
• 세 가지 핵심 조건 식별: (1) X 내의 작은 특이값, (2) X의 뒷부분 특이 모드에서의 테스트 특징 변동성, (3) 최적 모델에서의 비영 잔차 오차.
• 합성 및 실제 데이터셋에서 세 요소를 각각 제거하는 분석 실험을 통해 그 필요성을 테스트하는 것.
• 딥 뉴럴 네트워크 활성화를 선형 회귀에 해당하는 특징 공간으로 투영함으로써 비선형 모델에 동일한 프레임워크를 적용하는 것.
• 학생-선생 프레임워크를 사용해 제어 가능한 성질을 가진 합성 데이터를 생성함으로써 세 요소의 인과적 검증을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 선형 모델에서 이중 경향성이 발생하기 위해 반드시 동시에 존재해야 하는 세 가지 특정하고 해석 가능한 조건은 무엇인가?
• RQ2 고전 이론이 과적합을 예측하는 바에 비해, 과다 매개변수화된 모델에서 이중 경향성이 어떻게 발생하는가?
• RQ3 세 가지로 규명된 요소 중 어느 하나라도 제거되면 이중 경향성이 유지되는가? 이는 그 요소들의 필수성에 대해 어떤 시사점을 제공하는가?
• RQ4 선형 모델에서의 통찰은 비선형 딥 뉴럴 네트워크에서의 이중 경향성을 어떻게 설명할 수 있는가?
• RQ5 이중 경향성은 레이블 노이즈나 확률적 성격이 필요한가, 아니면 결정론적 환경에서도 발생할 수 있는가?

주요 결과

• 일반 선형 회귀에서의 이중 경향성은 X의 작은 특이값, 뒷부분 특이 모드에서의 테스트 특징 변동성, 비영 잔차 오차가 동시에 존재할 때에만 발생한다.
• 세 요소 중 어느 하나라도 제거하면 합성 및 실제 데이터셋 모두에서 이중 경향성이 완전히 사라지며, 이는 그 요소들이 필수적임을 확인한다.
• 캘리포니아 주택, 당뇨병, WHO 수명 기대치 데이터셋과 같은 실제 테이블 데이터셋에서도 세 요소가 모두 존재할 경우 이중 경향성이 관찰되었다.
• 비선형 모델에서도 현상이 유지되는 이유는 넓은 신경망의 효과적 특징 공간이 선형 회귀로 매핑될 수 있기 때문이며, 이로 인해 동일한 세 가지 요소가 일반화 행동을 지배한다.
• 레이블 노이즈가 없더라도, 모델 클래스 불일치에서 기인한 결정론적 잔차 오차만으로도 비단조화적인 테스트 오차 곡선이 발생할 수 있다.
• 이 연구는 '데이터 포인트 특징'(XX^T 관련)과 '일반화 특징'(X^T X 관련)이 상호 배타적이지 않으며, 이들의 공통 스펙트럼 구조가 이중 경향성 행동의 근본 원인임을 명확히 한다.