[논문 리뷰] Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation

Si Yi Meng, Sharan Vaswani외 3명|arXiv (Cornell University)|2019. 10. 10.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 일정한 배치 크기와 적응형 스텝 사이즈를 사용하여 부드럽고 강력한 볼록 함수에 대해 보간 조건 하에서 전역 선형 수렴을 달성하는 정규화된 부분표본 뉴턴 방법(R-SSN)을 제안한다. 또한 배치 크기가 증가할 때 R-SSN이 국소 2차 수렴을 달성하며, 보간 영역에서 스위치드 L-BFGS의 전역 선형 수렴을 확립한다. 이를 통해 합성 및 실제 데이터셋에서 반복 횟수와 월클럭 시간 측면에서 빠른 수렴을 보여준다.

ABSTRACT

We consider stochastic second-order methods for minimizing smooth and strongly-convex functions under an interpolation condition satisfied by over-parameterized models. Under this condition, we show that the regularized subsampled Newton method (R-SSN) achieves global linear convergence with an adaptive step-size and a constant batch-size. By growing the batch size for both the subsampled gradient and Hessian, we show that R-SSN can converge at a quadratic rate in a local neighbourhood of the solution. We also show that R-SSN attains local linear convergence for the family of self-concordant functions. Furthermore, we analyze stochastic BFGS algorithms in the interpolation setting and prove their global linear convergence. We empirically evaluate stochastic L-BFGS and a "Hessian-free" implementation of R-SSN for binary classification on synthetic, linearly-separable datasets and real datasets under a kernel mapping. Our experimental results demonstrate the fast convergence of these methods, both in terms of the number of iterations and wall-clock time.

연구 동기 및 목표

• 과도하게 파rameter화된 모델에서 흔히 나타나는 보간 조건 하에서 스위치드 2차 방법의 수렴성을 분석하는 것.
• 일정한 배치 크기와 적응형 스텝 사이즈를 사용하여 R-SSN의 전역 선형 수렴을 확립하는 것.
• 보간 조건 하에서 배치 크기가 증가할 때 R-SSN이 국소 2차 수렴을 달성할 수 있음을 보여주는 것.
• 자기-일관 함수와 보간 조건 하에서 스위치드 L-BFGS로의 수렴 분석을 확장하는 것.
• R-SSN과 스위치드 L-BFGS의 수렴 속도가 반복 횟수와 월클럭 시간 측면에서 얼마나 빠른지 경험적으로 검증하는 것.

제안 방법

• 훈련 예제의 배치를 사용하여 부분표본 헤시안과 기울기를 계산하는 정규화된 부분표본 뉴턴 방법(R-SSN)을 제안한다.
• 유일한 업데이트 방향과 안정성을 확보하기 위해 Levenberg-Marquardt 정규화를 적용한다.
• 적응형 스텝 사이즈와 일정한 배치 크기를 사용하여 기대값 기반 전역 선형 수렴을 달성한다.
• 증가하는 배치 크기로 수렴을 분석하여 해의 근처에서 선형-2차 수렴을 달성한다.
• 자기-일관 함수로의 분석을 확장하여, 보간 조건 하에서 R-SSN의 국소 선형 수렴을 증명한다.
• 스위치드 L-BFGS를 분석하고 보간 조건 하에서의 전역 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 R-SSN은 일정한 배치 크기와 적응형 스텝 사이즈를 사용하여 보간 조건 하에서 전역 선형 수렴을 달성할 수 있는가?
• RQ2 R-SSN에서 배치 크기를 증가시키면 보간 영역에서 국소 2차 수렴이 이루어지는가?
• RQ3 R-SSN의 수렴 보장을 보간 조건 하에서 자기-일관 함수로 확장할 수 있는가?
• RQ4 스위치드 L-BFGS는 보간 조건 하에서 전역 선형 수렴을 달성하는가?
• RQ5 R-SSN과 스위치드 L-BFGS는 반복 횟수와 월클럭 시간 측면에서 1차 방법보다 수렴 속도가 빠른가?

주요 결과

• R-SSN은 보강된 볼록 함수에 대해 보간 조건 하에서 일정한 배치 크기와 적응형 스텝 사이즈를 사용하여 기대값 기반 전역 선형 수렴을 달성한다.
• 배치 크기가 증가할 때 R-SSN은 해의 근처에서 국소 선형-2차 수렴을 달성하며, 이는 이전 방법들보다 더 빠른 배치 크기 증가가 필요로 하지 않는다는 점에서 뛰어나다.
• 보간 조건 하에서 자기-일관 함수에 대해 R-SSN은 기대값 기반 국소 선형 수렴을 달성한다.
• 스위치드 L-BFGS는 보간 조건 하에서 전역 선형 수렴을 증명하였다.
• 경험적 결과는 R-SSN과 스위치드 L-BFGS가 합성 및 실제 데이터셋에서 반복 횟수와 월클럭 시간 측면에서 1차 방법보다 더 빠르게 수렴함을 보여준다.