[논문 리뷰] Sub-Sampled Newton Methods I: Globally Convergent Algorithms

Farbod Roosta-Khorasani, Michael W. Mahoney|arXiv (Cornell University)|2016. 01. 18.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 60

한 줄 요약

이 논문은 히세 행렬을 균일한 부분표본 추출을 통해 근사하면서 전체 기울기를 사용함으로써, 임의의 초기점에서부터의 전역 수렴을 보장하는 대규모 최적화를 위한 전역 수렴하는 부분표본 뉴턴 방법을 제안한다. 조건 수에 따라 의존하는 비점점적이고 정량적인 수렴 경계를 확립하며, 선형 시스템의 정확하지 않은 해를 사용할 경우에도 전역 수렴을 보장하며, 정확도 허용 오차가 $\mathcal{O}(1/ ilde{\kappa})$ 수준이면 빠른 수렴을 보장한다.

ABSTRACT

Large scale optimization problems are ubiquitous in machine learning and data analysis and there is a plethora of algorithms for solving such problems. Many of these algorithms employ sub-sampling, as a way to either speed up the computations and/or to implicitly implement a form of statistical regularization. In this paper, we consider second-order iterative optimization algorithms and we provide bounds on the convergence of the variants of Newton's method that incorporate uniform sub-sampling as a means to estimate the gradient and/or Hessian. Our bounds are non-asymptotic and quantitative. Our algorithms are global and are guaranteed to converge from any initial iterate. Using random matrix concentration inequalities, one can sub-sample the Hessian to preserve the curvature information. Our first algorithm incorporates Hessian sub-sampling while using the full gradient. We also give additional convergence results for when the sub-sampled Hessian is regularized by modifying its spectrum or ridge-type regularization. Next, in addition to Hessian sub-sampling, we also consider sub-sampling the gradient as a way to further reduce the computational complexity per iteration. We use approximate matrix multiplication results from randomized numerical linear algebra to obtain the proper sampling strategy. In all these algorithms, computing the update boils down to solving a large scale linear system, which can be computationally expensive. As a remedy, for all of our algorithms, we also give global convergence results for the case of inexact updates where such linear system is solved only approximately. This paper has a more advanced companion paper, [42], in which we demonstrate that, by doing a finer-grained analysis, we can get problem-independent bounds for local convergence of these algorithms and explore trade-offs to improve upon the basic results of the present paper.

연구 동기 및 목표

• 완전한 히세 행렬 계산이 불가능한 대규모 문제에 대해 전역 수렴하는 두 번째 차수 최적화 알고리즘을 개발하는 것.
• 히세 행렬의 균일한 부분표본 추출과 전체 기울기를 사용한 부분표본 뉴턴 방법에 대해 비점점적 수렴 보장을 제공하는 것.
• 뉴턴 시스템의 정확하지 않은 해가 수렴에 미치는 영향을 분석하고, 명시적인 정확도 허용 오차 요구 조건을 제시하는 것.
• 랜덤화된 수치선형대수(RandNLA) 기반의 샘플링 전략을 사용하여 기울기와 히세 행렬을 모두 부분표본 추출한 완전히 스며든 변형으로의 프레임워크 확장.
• SSN2라는 동반 논문을 통해 국소 수렴 속도에 대한 조건 수에 독립적인 기반을 마련하는 것, 이는 국소 수렴 속도 분석을 포함한다.

제안 방법

• 히세 행렬의 균일한 부분표본 추출을 사용하면서 전체 기울기를 계산하여, 랜덤 행렬 농도 부등식을 통해 내림쪽 방향을 보장한다.
• 초기 반복에서 히세 행렬의 스펙트럼 정규화 또는 리지형 정규화를 적용하여 조건 수를 개선하고, 수렴 근처에서는 원래의 부분표본 히세 행렬로 되돌린다.
• 랜덤화된 수치선형대수(RandNLA)에서 유도된 근사 행렬 곱셈 결과를 활용하여 기울기 및 히세 행렬의 부분표본 추출에 최적의 샘플링 전략을 유도한다.
• 뉴턴 시스템을 근사적으로 해결하며, 정확도 허용 오차가 $\mathcal{O}(1/\sqrt{\tilde{\kappa}})$ 수준이면 수렴 보장을 제공한다. 여기서 $\tilde{\kappa}$는 샘플링 조건 수이다.
• 전역 수렴을 보장하기 위해 자연스러운 스텝 크기 $\alpha_k = 1$를 사용하는 Armijo 규칙을 적용하며, 특히 반복점이 최적점에 가까워질수록 유리하다.
• 정확한 갱신과 정확하지 않은 갱신 방식 모두에 대해 전역 수렴을 확립하며, 유한 차원과 유한 반복에 대해 유효한 이론적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 뉴턴 방법에서 부분표본 히세 행렬 근사가 임의의 초기 반복점에서부터 전역 수렴을 보장할 수 있는가?
• RQ2 비점점적 경계를 확보하기 위해 히세 행렬과 기울기의 샘플 크기는 어느 정도여야 하는가?
• RQ3 뉴턴 시스템의 정확하지 않은 해가 수렴에 미치는 영향은 무엇이며, 어떤 정확도 허용 오차가 빠른 수렴을 보장하는가?
• RQ4 부분표본 히세 행렬에 정규화를 적용하면 초기 단계의 수렴을 향상시킬 수 있으며, 전역 수렴에는 해를 끼치지 않는가?
• RQ5 부분표본 뉴턴 방법의 전역 수렴 성질이 국소 수렴 속도와 어떻게 상호작용하는가, 특히 조건 수에 대한 의존성 측면에서 어떻게 되는가?

주요 결과

• 부분표본 히세 행렬과 전체 기울기를 사용하는 알고리즘은 조건 수에 따라 의존하는 비점점적 경계를 갖는 전역 선형 수렴을 달성한다.
• 히세 행렬을 부분표본 추출하면서 전체 기울기를 사용하면, 샘플 크기가 조건 수에 상대적으로 충분히 크면 높은 확률로 내림쪽 방향을 확보할 수 있다.
• 리지형 또는 스펙트럼 정규화를 통합하면 초기 수렴을 향상시키지만, 최적점 근처에서는 정확도를 유지하기 위해 제거되어야 한다.
• 기울기와 히세 행렬 모두를 부분표본 추출할 경우, RandNLA 기반 샘플링 전략을 사용하면 전역 수렴이 유지되며, 수렴 속도는 샘플링 품질에 따라 달라진다.
• 정확하지 않은 갱신의 경우, 정확도가 $\mathcal{O}(1/\sqrt{\tilde{\kappa}})$ 수준 이내이면 수렴이 보장된다. 여기서 $\tilde{\kappa}$는 샘플링 조건 수이다.
• 이 논문의 전역 수렴 결과와 동반 논문 SSN2 [40]의 국소 수렴 분석을 조합하면, 조건 수에 독립적인 국소 수렴 속도를 도출할 수 있으며, 이는 전체 뉴턴 방법의 성능에 가까워진다.