[논문 리뷰] A Continuous-Time View of Early Stopping for Least Squares

Alnur Ali, J. Zico Kolter외 1명|arXiv (Cornell University)|2018. 10. 23.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 15

한 줄 요약

이 논문은 최소 제곱 회귀에 대한 경사 하강법의 연속 시간적 관점을 제시하며, 그의 무한소 단계 크기 극한인 경사 유동을 분석함으로써, 캘리브레이션 $ t = 1/\lambda $ 하에서 그의 리스크가 릿지 회귀의 리스크의 최대 1.69배임을 증명한다. 이 경계는 유한 표본에서, 데이터에 대한 최소한의 가정 하에, 모든 $ t \geq 0 $ 에 대해 성립하며, 베이즈적 의미에서 예측 리스크로까지 확장되며, 추정기의 $ \ell_2 $ 노름으로 캘리브레이션할 경우 경험적으로 더욱 타이트한 결합이 관찰된다.

ABSTRACT

We study the statistical properties of the iterates generated by gradient descent, applied to the fundamental problem of least squares regression. We take a continuous-time view, i.e., consider infinitesimal step sizes in gradient descent, in which case the iterates form a trajectory called gradient flow. Our primary focus is to compare the risk of gradient flow to that of ridge regression. Under the calibration $t=1/λ$---where $t$ is the time parameter in gradient flow, and $λ$ the tuning parameter in ridge regression---we prove that the risk of gradient flow is no less than 1.69 times that of ridge, along the entire path (for all $t \geq 0$). This holds in finite samples with very weak assumptions on the data model (in particular, with no assumptions on the features $X$). We prove that the same relative risk bound holds for prediction risk, in an average sense over the underlying signal $β_0$. Finally, we examine limiting risk expressions (under standard Marchenko-Pastur asymptotics), and give supporting numerical experiments.

연구 동기 및 목표

• 최소 제곱 회귀에서 경사 하강법의 통계적 성질을 연속 시간적 관점에서 이해하기 위해.
• 수렴 시점 뿐 아니라 전체 경로 동안 경사 유동의 리스크를 릿지 회귀의 리스크와 직접 비교하기 위해.
• 설계 행렬 $ X $ 에 대한 최소한의 가정 하에 유한 표본 리스크 경계를 수립하기 위해.
• 진짜 신호에 대한 구면 사전분포 위에서 평균(베이즈) 의미에서의 예측 리스크로 비교를 확장하기 위해.
• 마르친코-파스투어 극한 하에서 점근적 리스크 표현식을 유도하고 검증하며, 기존의 릿지 결과와 비교하기 위해.

제안 방법

• 무한소 단계 크기의 극한을 취하여 경사 하강법을 경사 유동으로 모델링함으로써, 반복값의 연속 궤적을 도출한다.
• 스펙트럼 분석과 역 라플라스 변환을 사용하여 고차원 점근적 영역에서 경사 유동의 베이즈 리스크에 대한 정확한 표현식을 유도한다.
• 시간 $ t $ 와 릿지 조정 파rameter $ \lambda $ 간의 캘리브레이션 $ t = 1/\lambda $ 를 수립하여 직접적인 리스크 비교를 가능하게 한다.
• 유한 표본에서 경사 유동의 상대 리스크에 대한 상한 경계를 증명하여, 그 값이 릿지 리스크를 초과하지 않음을 보여준다.
• 마르친코-파스투어 점근적 조건 하에서 경사 유동의 극한 리스크 표현식을 유도하며, 극한 스펙트럼 분포의 스티엘제스 변환을 사용한다.
• 다양한 특징 분포와 설계 행렬을 사용한 수치 실험을 수행하여 이론적 경계를 검증하고, 경사 유동과 릿지 리스크 간의 타이트한 결합을 관찰한다.

실험 결과

연구 질문

• RQ1 데이터 모델에 대한 최소한의 가정 하에, 경사 유동의 추정 리스크가 전체 경로 동안 릿지 회귀의 리스크와 어떻게 비교되는가?
• RQ2 유한 표본에서 경사 유동의 리스크가 릿지 회귀의 리스크에 상대적으로 어떻게 경계지을 수 있으며, 그 최고의 경계는 무엇인가?
• RQ3 동일한 상대 리스크 경계가 예측 리스크, 특히 진짜 신호의 분포 위에서 평균(베이즈) 의미에서 성립하는가?
• RQ4 마르친코-파스투어 극한 하에서 경사 유동과 릿지 회귀의 점근적 리스크는 어떻게 비교되며, 그 표현식은 정확한가?
• RQ5 왜 경사 유동과 릿지 리스크 간의 경험적 결합이 $ t=1/\lambda $ 가 아닌 추정기의 $ \ell_2 $ 노름으로 캘리브레이션할 경우 더 타이트한가?

주요 결과

• 캘리브레이션 $ t = 1/\lambda $ 하에서, 설계 행렬 $ X $ 에 대한 어떤 가정도 없이, 모든 $ t \geq 0 $ 에 대해 경사 유동의 추정 리스크는 릿지 회귀 리스크의 최대 1.69배이다.
• 동일한 캘리브레이션 하에서, 이와 같은 상대 리스크 경계 1.69는 표본 내 예측 리스크에도 성립한다.
• 표본 외 예측 리스크의 경우, 진짜 신호 $ \beta_0 $ 에 대한 구면 사전분포 위에서 평균(베이즈) 의미에서 상대 리스크는 1.69 이하로 경계된다.
• 두 방법이 최적으로 조정될 경우, 추정, 표본 내, 표본 외 리스크 전반에서 경사 유동의 상대 리스크는 1에서 1.22 사이에 놓인다.
• 수치 실험 결과, 추정기의 $ \ell_2 $ 노름으로 캘리브레이션할 경우, 경사 유동과 릿지의 리스크 곡선은 거의 정확히 일치하며, 최대 비율은 1.0050이다.
• 경사 유동의 이론적 점근적 리스크 표현식은 점근적으로 정확하며, 빠르게 유한 표본 결과로 수렴하며, 시뮬레이션에서 경험적 곡선과 теор리적 곡선은 식별할 수 없을 정도로 일치한다.