[논문 리뷰] Sub-Sampled Newton Methods II: Local Convergence Rates

Farbod Roosta-Khorasani, Michael W. Mahoney|arXiv (Cornell University)|2016. 01. 18.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 60

한 줄 요약

이 논문은 대규모 최적화를 위한 부분 샘플링 뉴턴 방법을 분석하며, 계산 비용을 줄이기 위해 헤시안과/또는 기울기를 부분 샘플링하는 변형을 제안한다. 이는 국소 수렴성을 유지하면서 수행된다. 무작위 행렬 농도 및 근사 행렬 곱셈 기법을 활용하여 국소 Q-선형 및 Q-초선형 수렴 속도를 확립하며, 문제에 특화된 조건수와 무관하게 수렴한다.

ABSTRACT

Many data-fitting applications require the solution of an optimization problem involving a sum of large number of functions of high dimensional parameter. Here, we consider the problem of minimizing a sum of $n$ functions over a convex constraint set $\mathcal{X} \subseteq \mathbb{R}^{p}$ where both $n$ and $p$ are large. In such problems, sub-sampling as a way to reduce $n$ can offer great amount of computational efficiency. Within the context of second order methods, we first give quantitative local convergence results for variants of Newton's method where the Hessian is uniformly sub-sampled. Using random matrix concentration inequalities, one can sub-sample in a way that the curvature information is preserved. Using such sub-sampling strategy, we establish locally Q-linear and Q-superlinear convergence rates. We also give additional convergence results for when the sub-sampled Hessian is regularized by modifying its spectrum or Levenberg-type regularization. Finally, in addition to Hessian sub-sampling, we consider sub-sampling the gradient as way to further reduce the computational complexity per iteration. We use approximate matrix multiplication results from randomized numerical linear algebra (RandNLA) to obtain the proper sampling strategy and we establish locally R-linear convergence rates. In such a setting, we also show that a very aggressive sample size increase results in a R-superlinearly convergent algorithm. While the sample size depends on the condition number of the problem, our convergence rates are problem-independent, i.e., they do not depend on the quantities related to the problem. Hence, our analysis here can be used to complement the results of our basic framework from the companion paper, [38], by exploring algorithmic trade-offs that are important in practice.

연구 동기 및 목표

• 고차원 매개변수와 많은 데이터 포인트를 가진 대규모 문제를 위한 효율적인 이阶 최적화 방법을 개발하기 위해.
• 헤시안을 무작위 부분 샘플링으로 근사하는 부분 샘플링 뉴턴 방법의 국소 수렴 거동을 분석하기 위해.
• 부분 샘플링 헤시안 행렬에 대한 정규화의 영향과 그 수렴 속도에 대한 영향을 조사하기 위해.
• 기울기와 헤시안 모두를 부분 샘플링하는 완전히 스트로스틱인 변형으로 분석을 확장하기 위해.
• 문제에 특화된 조건수와 무관한 수렴 보장을 제공하여 빅데이터 문제에 더 넓게 적용 가능하게 하기 위해.

제안 방법

• 계산 비용을 줄이기 위해 헤시안의 균일한 부분 샘플링을 사용하며, 무작위 행렬 농도 부등식을 통해 곡률 정보를 유지한다.
• 무작위 수치선형대수(RandNLA)에서 유래한 근사 행렬 곱셈 기법을 적용하여 헤시안과 기울기 부분 샘플링에 최적의 샘플링 전략을 유도한다.
• 레벤버그 유형(Ridge) 정규화와 스펙트럼 수정을 도입하여 초기 반복 단계를 안정화시키며, 이들의 후기 단계에서의 제한된 유용성에 대한 이론적 근거를 제시한다.
• 오차 재귀를 수립하며, 최적점에서 멀리 떨어진 경우 제곱항이 지배하고, 최적점 근처에서는 선형항으로 전이되는 복합적 행동을 보인다.
• 각 반복 단계에서 하위 문제의 정확한 해를 구현하여 이론적 수렴 보장을 확보한다. 다만 이는 계산적 병목 현상으로 지적된다.
• 헤시안과 기울기 부분 샘플링에 대해 독립적 및 동시 샘플링 전략을 분석하며, 샘플 크기를 점진적으로 증가시키면 R-초선형 수렴이 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 헤시안 부분 샘플링이 뉴턴 방법의 국소 수렴 성질을 유지하는 조건은 무엇인가?
• RQ2 부분 샘플링 헤시안의 정규화는 수렴 속도에 어떤 영향을 미치며, 언제 유용한가?
• RQ3 헤시안과 기울기를 동시에 부분 샘플링해도 국소 수렴 보장이 유지되는가?
• RQ4 완전히 스트로스틱인 뉴턴 방법에서 국소 R-선형 또는 R-초선형 수렴을 보장하는 샘플링 전략은 무엇인가?
• RQ5 수렴 속도는 문제에 특화된 매개변수(예: 조건수)에 어떻게 의존하는가? 문제에 종속되지 않도록 만들 수 있는가?

주요 결과

• 완전한 기울기와 균일하게 부분 샘플링된 헤시안을 사용하는 부분 샘플링 뉴턴 방법은 국소 Q-선형 수렴을 달성하며, 반복점이 최적점에 가까워질수록 오차 재귀가 제곱항에서 선형항으로 전이된다.
• 헤시안 부분 샘플 크기를 점진적으로 증가시키면 국소 Q-초선형 수렴을 달성하며, 이는 향상된 점근적 행동을 보여준다.
• 부분 샘플링 헤시안의 정규화(스펙트럼 수정 또는 레벤버그 유형)는 초기 단계의 수렴을 향상시키지만, 최적점 근처에서는 정규화되지 않은 부분 샘플링이 더 우수하다.
• 헤시안과 기울기 모두를 부분 샘플링할 경우 국소 R-선형 수렴을 달성하며, 더 적극적인 샘플 크기 증가 전략은 R-초선형 수렴을 가능하게 한다.
• 모든 수렴 속도는 문제에 종속되지 않으며, 조건수나 기타 문제에 특화된 양에 의존하지 않아 일반화 가능성이 향상된다.
• 분석은 실무에서 알고리즘적 트레이드오프에 대한 이론적 기초를 제공하며, 수렴 보장 없이 계산 비용과 수렴 속도의 균형을 맞출 수 있다.