[논문 리뷰] Revisiting Sub-sampled Newton Methods

Haishan Ye, Luo Luo외 1명|arXiv (Cornell University)|2016. 08. 08.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 3

한 줄 요약

이 논문은 샘플링 크기를 늘리지 않아도 악조건의 헤시안 행렬에 대해서도 초선형 및 이차 수렴을 달성하는 두 가지 새로운 부분 샘플링 뉴턴 방법—정밀화된 부분 샘플링 뉴턴(ReSubNewton)과 정밀화된 스케치 뉴턴(ReSkeNewton)—을 소개한다. 이 방법들은 정밀화된 헤시안 근사와 스케칭 기법을 활용하여 이론적 수렴 성능 향상과 기존 부분 샘플링 뉴턴 방법 대비 실증적 효율성 향상을 보여준다.

ABSTRACT

Many machine learning models depend on solving a large scale optimization problem. Recently, sub-sampled Newton methods have emerged to attract much attention for optimization due to their efficiency at each iteration, rectified a weakness in the ordinary Newton method of suffering a high cost at each iteration while commanding a high convergence rate. In this work we propose two new efficient Newton-type methods, Refined Sub-sampled Newton and Refined Sketch Newton. Our methods exhibit a great advantage over existing sub-sampled Newton methods, especially when Hessian-vector multiplication can be calculated efficiently. Specifically, the proposed methods are shown to converge superlinearly in general case and quadratically under a little stronger assumption. The proposed methods can be generalized to a unifying framework for the convergence proof of several existing sub-sampled Newton methods, revealing new convergence properties. Finally, we empirically evaluate the performance of our methods on several standard datasets and the results show consistent improvement in computational efficiency.

연구 동기 및 목표

• 샘플링 복잡도를 증가시키지 않고 부분 샘플링 뉴턴 방법에서 초선형 및 이차 수렴을 달성하는 데 있어 열려 있는 문제를 해결한다.
• 기존 부분 샘플링 뉴턴 방법의 수렴 성질을 분석할 수 있는 통합 이론적 프레임워크를 개발한다.
• 헤시안에 대한 리프시츠 연속성 조건이 수렴에 필수적인지, 특히 비리프시츠 설정에서 어떻게 되는지 조사한다.
• 악조건의 헤시안을 가진 대규모 머신러닝 최적화 문제에서 계산 효율성과 수렴 속도를 향상시킨다.

제안 방법

• 곡률 추정을 향상시키기 위해 정밀화된 샘플링 전략을 사용하는 정밀화된 부분 샘플링 뉴턴(ReSubNewton)을 제안한다.
• 효율적인 헤시안 근사를 위해 향상된 부분공간 통합 보장 조건을 가진 스케칭 기법을 적용하는 정밀화된 스케치 뉴턴(ReSkeNewton)을 도입한다.
• 헤시안 근사 오차에 대한 정밀화된 오차 한계를 활용하여, 더 약한 가정 조건 하에서도 수렴을 보장한다. 이는 $\nabla^2F(x^{(t)}) - H^{(t)}$ 및 $\norm{[H^{(t)}]^{-1}}$ 를 통해 이루어진다.
• 핵심 정리(정리 7)를 기반으로 한 통합된 수렴 프레임워크를 수립하여, $\rho = \norm{( abla^2F - H^{(t)})} \norm{[H^{(t)}]^{-1}}$ 를 통해 수렴 속도를 경계한다.
• 부분공간 통합 이론을 적용하여, 높은 확률로 $H^{(t)}$ 가 $(1-\rho)\nabla^2F \trianglelefteq H^{(t)} \trianglelefteq (1+\rho)\nabla^2F$ 를 만족하도록 보장한다.
• 헤시안과 그 역행렬의 근사 오차를 제어하기 위해 $(\rho \frac{\tau}{K})$-부분공간 통합을 가지는 스케칭 행렬 $S$ 를 통합한다.

실험 결과

연구 질문

• RQ1 샘플링 수를 늘리지 않으면서도 부분 샘플링 뉴턴 방법이 초선형 또는 이차 수렴을 달성할 수 있는가?
• RQ2 다양한 부분 샘플링 뉴턴 방법의 수렴성을 분석할 수 있는 통합 이론적 프레임워크가 존재하는가?
• RQ3 부분 샘플링 뉴턴 방법의 수렴에 있어 헤시안에 대한 리프시츠 연속성 조건이 필수적인가?
• RQ4 정밀화된 헤시안 근사는 표준 부분 샘플링 뉴턴 방법에 비해 악조건 설정에서 수렴을 어떻게 향상시키는가?

주요 결과

• ReSubNewton와 ReSkeNewton는 샘플링 크기를 늘리지 않아도 일반적인 경우에 초선형 수렴을 달성하여, 부분 샘플링 뉴턴 방법 분야의 핵심 열린 문제를 해결한다.
• 약간 더 강한 가정 조건 하에서, 제안된 방법들은 이차 수렴을 달성하며, 이는 부분 샘플링 뉴턴 방법에서 처음으로 이루어지는 결과이다.
• 수렴 속도는 $\rho < 1/2$ 일 때 확률 $(1-\rho)^T$ 로 선형 수렴을 보이며, 반복이 진행됨에 따라 $\rho \to 0$ 이면 초선형 수렴을 보인다.
• 이론적 분석을 통해 수렴 속도는 $\rho = \norm{( abla^2F - H^{(t)})} \norm{[H^{(t)}]^{-1}}$ 에 의존하며, 제안된 방법들은 정밀화된 헤시안 추정을 통해 이 비율을 작게 유지함을 밝혀냈다.
• 표준 데이터셋에서의 실증 평가 결과, 기존 부분 샘플링 뉴턴 방법 대비 일관된 계산 효율성 향상을 확인하였다.
• 이 프레임워크는 여러 기존 부분 샘플링 뉴턴 방법의 수렴 분석을 통합하여, 리프시츠 조건 하에서 선형-이차 수렴 속도와 같은 새로운 수렴 성질을 드러냈다.