[논문 리뷰] Multiple Descent: Design Your Own Generalization Curve

Lin Chen, Yifei Min외 2명|arXiv (Cornell University)|2020. 08. 03.

Neural Networks and Applications참고 문헌 52인용 수 28

한 줄 요약

이 논문은 데이터 및 모델 성질을 제어함으로써 선형 회귀에서 일반화 오차 곡선을 임의의 수의 내림차순과 정점으로 명시적으로 설계할 수 있음을 보여준다. 과다 매개변수화 및 과소 매개변수화된 영역에 대한 이론적 분석을 통해 저자들은 고전적인 U자형 곡선과 双降곡선이 모델 가족의 본질적인 특성이 아니며, 데이터 유도 편향 상호작용에서 비롯된다는 것을 증명한다. 이로 인해 일반화 곡선의 형태를 완전히 제어할 수 있다.

ABSTRACT

This paper explores the generalization loss of linear regression in variably parameterized families of models, both under-parameterized and over-parameterized. We show that the generalization curve can have an arbitrary number of peaks, and moreover, locations of those peaks can be explicitly controlled. Our results highlight the fact that both classical U-shaped generalization curve and the recently observed double descent curve are not intrinsic properties of the model family. Instead, their emergence is due to the interaction between the properties of the data and the inductive biases of learning algorithms.

연구 동기 및 목표

• 선형 회귀에서 일반화 곡선이 두 번 이상의 내림차순을 보일 수 있는지 조사하기.
• 일반화 곡선의 내림차순 수와 위치를 명시적으로 제어할 수 있는지 확인하기.
• U자형 또는 이중 내림차순 곡선이 모델 가족의 본질적인 특성이라는 가정을 도전하기.
• 일반화 곡선의 형태가 모델의 유도 편향과 데이터 구조의 상호작용에서 유래되며, 모델 가족의 성질만으로는 결정되지 않는다는 것을 보여주기.

제안 방법

• 저자들은 데이터 차원과 모델 복잡도를 변화시켜 가변 매개변수화된 모델 가족에서 선형 회귀를 분석한다.
• 무작위 행렬 이론과 모어-펜로즈 의사역행렬의 성질을 사용하여 기대 일반화 오차의 정확한 표현을 유도한다.
• 구조화된 데이터와 모델 파라미터를 도입함으로써 설계 행렬의 질량과 스펙트럼 성질을 제어하여 위험 곡선을 형상화한다.
• 이 방법은 일반화 오차가 데이터 공분산과 설계 행렬의 의사역행렬 간 상호작용에 의존하는 데이터 분포를 구성하는 것을 포함한다.
• 점근적 분석과 농도 부등식을 사용하여 기대 위험이 임의의 내림차순 패턴을 생성하도록 조정될 수 있음을 보여준다.
• 이론적 결과는 연속된 차원 간 위험 차이에 대한 명시적 경계를 통해 검증되며, 제어된 조건 하에서 기대 오차의 단조 증가 또는 감소를 증명한다.

실험 결과

연구 질문

• RQ1 선형 회귀에서 일반화 곡선이 두 번 이상의 내림차순을 보일 수 있는가?
• RQ2 일반화 곡선의 정점과 골짜이의 수와 위치를 명시적으로 제어할 수 있는가?
• RQ3 U자형 또는 이중 내림차순 곡선은 모델 가족의 본질적인 성질인가, 아니면 데이터와 유도 편향의 산물인가?
• RQ4 통제된 데이터 및 모델 구조를 통해 일반화 오차를 임의의 내림차순 패턴으로 설계할 수 있는가?

주요 결과

• 선형 회귀에서 일반화 곡선은 데이터 및 모델 설계에 따라 임의의 수의 내림차순과 정점을 가질 수 있다.
• 저자들은 고전적인 U자형 곡선과 이중 내림차순 곡선이 모델 가족의 본질적인 특성이 아니며, 데이터-유도 편향 상호작용에서 기인한다는 것을 증명한다.
• 원하는 내림차순 수가 있는 한, 해당 일반화 곡선을 실현하는 데이터 분포와 모델 구성이 존재한다.
• 기대 일반화 오차는 데이터 분포 파라미터를 조정함으로써 연속된 차원 간에 증가하거나 감소시킬 수 있다.
• 소음이 작은 극한에서는 차원 간 위험 차이가 음수가 될 수 있어 내림차순을 가능하게 하고, 다른 영역에서는 양수가 되어 상승을 가능하게 한다.
• 논문은 일반화 곡선이 모델 복잡도만으로 결정되지 않으며, 데이터 및 모델 구조를 통해 완전히 조정 가능하다는 것을 확립한다.