[논문 리뷰] A Continuous-Time View of Early Stopping for Least Squares Regression

Alnur Ali, J. Zico Kolter외 1명|arXiv (Cornell University)|2018. 10. 23.

Numerical methods in inverse problems인용 수 32

한 줄 요약

이 논문은 최소 제곱 회귀에서 경사 하강법의 연속시간 근사인 경사 유동을 분석하며, $ t = 1/\lambda $ 캘리브레이션 하에서 모든 $ t \geq 0 $ 에서 유한 표본이면서 데이터에 대한 최소한의 가정이 있을 경우, 경사 유동의 리스크가 릿지 회귀의 리스크보다 최소 1.69배 높다는 것을 보여준다. 이 결과는 추정 리스크와 예측 리스크 모두에 대해 성립하며, 점점 가까워지는 극한값과 수치적 검증을 제공한다.

ABSTRACT

We study the statistical properties of the iterates generated by gradient descent, applied to the fundamental problem of least squares regression. We take a continuous-time view, i.e., consider infinitesimal step sizes in gradient descent, in which case the iterates form a trajectory called gradient flow. Our primary focus is to compare the risk of gradient flow to that of ridge regression. Under the calibration $t=1/\lambda$---where $t$ is the time parameter in gradient flow, and $\lambda$ the tuning parameter in ridge regression---we prove that the risk of gradient flow is no less than 1.69 times that of ridge, along the entire path (for all $t \geq 0$). This holds in finite samples with very weak assumptions on the data model (in particular, with no assumptions on the features $X$). We prove that the same relative risk bound holds for prediction risk, in an average sense over the underlying signal $\beta_0$. Finally, we examine limiting risk expressions (under standard Marchenko-Pastur asymptotics), and give supporting numerical experiments.

연구 동기 및 목표

• 경사 하강법의 통계적 행동을 연속시간적 관점에서 이해하기 위해.
• 경사 유동(경사 하강법의 연속시간 근사)의 리스크를 릿지 회귀와 비교하기 위해.
• 경사 유동의 상대 리스크에 대한 유한 표본 하한을 설정하기 위해.
• 진술된 신호 $ \beta_0 $ 를 평균화한 예측 리스크로 리스크 비교를 확장하기 위해.
• 마르친코-파스트르 점점 가까워지는 극한 조건 하에서 리스크 표현식을 분석하고, 이론적 결과를 수치적으로 검증하기 위해.

제안 방법

• 무한소 단계 크기의 극한을 취함으로써 경사 하강법을 연속시간 과정인 경사 유동으로 모델링하기 위해.
• 시간 $ t $ 와 릿지 정규화 매개변수 $ \lambda $ 를 연결하는 캘리브레이션 $ t = 1/\lambda $ 를 사용하기 위해.
• 설계 행렬 $ X $ 에 대한 약한 가정 하에서 경사 유동과 릿지 회귀의 리스크 표현식을 유도하기 위해.
• 모든 $ t \geq 0 $ 에서 경사 유동 리스크와 릿지 회귀 리스크의 비율에 대해 1.69의 보편적 하한을 확립하기 위해.
• 진술된 신호 $ \beta_0 $ 를 평균화함으로써 예측 리스크를 분석하고, 동일한 상대 리스크 하한이 유지됨을 보여주기 위해.
• 마르친코-파스트르 점점 가까워지는 극한 조건을 사용하여 리스크의 극한 표현식을 유도하고, 이론적 결과를 수치 실험으로 지지하기 위해.

실험 결과

연구 질문

• RQ1 캘리브레이션 $ t = 1/\lambda $ 하에서 경사 유동의 리스크는 릿지 회귀의 리스크와 어떻게 비교되는가?
• RQ2 최소한의 가정 하에 유한 표본에서 경사 유동의 상대 리스크는 릿지 회귀에 대해 하한이 존재하는가?
• RQ3 진술된 신호 $ \beta_0 $ 를 평균화한 예측 리스크를 고려할 때, 리스크 비율이 여전히 유한한가?
• RQ4 마르친코-파스트르 점점 가까워지는 극한 조건 하에서 경사 유동과 릿지 회귀의 리스크 표현식은 무엇인가?
• RQ5 수치 실험을 통해 논문에서 유도된 이론적 리스크 하한을 확인할 수 있는가?

주요 결과

• 캘리브레이션 $ t = 1/\lambda $ 하에서 모든 $ t \geq 0 $ 에서 유한 표본이면서 최소한의 가정이 있을 경우, 경사 유동의 리스크는 릿지 회귀의 리스크보다 최소 1.69배 높다.
• 이 1.69의 하한은 특성 $ X $ 에 대한 어떤 가정도 필요로 하지 않아, 광범위하게 적용 가능하다.
• 진술된 신호 $ \beta_0 $ 를 평균화한 예측 리스크에 대해서도 동일한 상대 리스크 하한 1.69이 적용된다.
• 마르친코-파스트르 점점 가까워지는 극한 조건 하에서의 리스크 극한 표현식은 이론적 결과를 확인하고, 유한 표본 결과를 지지한다.
• 유도된 리스크 하한을 검증하고 경사 유동이 릿지 회귀 대비 행동을 시각화하기 위해 수치 실험을 제공한다.
• 결과는 표준 캘리브레이션 하에서 경사 유동이 릿지 회귀에 비해 본질적인 통계적 열등성을 지닌다는 것을 보여준다.