[논문 리뷰] A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization

Bo Jiang, Tianyi Lin외 1명|arXiv (Cornell University)|2017. 10. 13.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 리프시츠 상수의 사전 지식이 필요 없이 적응형 입체 정규화와 경사법을 모두 가속화하는 통합된 이단계 적응형 기법을 제안한다. 알고리즘 파라미터를 적응적으로 조정하고 하위 문제를 근사적으로 해결함으로써, 입체 정규화의 경우 최적의 반복 복잡도 $O(1/ heta^{1/3})$과 경사법의 경우 $O(1/ heta^{1/2})$를 달성하며, 이는 기존에 알려진 최고의 이론적 경계와 일치하지만 완전한 적응성을 유지한다.

ABSTRACT

In this paper we propose a unified two-phase scheme for convex optimization to accelerate: (1) the adaptive cubic regularization methods with exact/inexact Hessian matrices, and (2) the adaptive gradient method, without any knowledge of the Lipschitz constants for the gradient or the Hessian. This is achieved by tuning the parameters used in the algorithm $ extit{adaptively}$ in its process of progression, which can be viewed as a relaxation over the existing algorithms in the literature. Under the assumption that the sub-problems can be solved approximately, we establish overall iteration complexity bounds for three newly proposed algorithms to obtain an $ε$-approximate solution. Specifically, we show that the adaptive cubic regularization methods with the exact/inexact Hessian matrix both achieve an iteration complexity in the order of $O\left( 1 / ε^{1/3} ight)$, which matches that of the original accelerated cubic regularization method presented in [Nesterov-2008-Accelerating] assuming the availability of the exact Hessian information and the Lipschitz constants, and that the sub-problems are solved to optimality. Under the same two-phase adaptive acceleration framework, the gradient method achieves an iteration complexity in the order $O\left( 1 / ε^{1/2} ight)$, which is known to be best possible (cf. Nesterov-2013-Introductory). Our numerical experiment results show a clear effect of acceleration displayed in the adaptive Newton method with cubic regularization on a set of regularized logistic regression instances.

연구 동기 및 목표

• 볼록 최적화에서 일阶 및 이阶 방법을 위한 적응형, 파rameter-free 가속 프레임워크를 개발하기 위해.
• 경사 또는 헤시안의 리프시츠 상수 지식이 없이도 적응형 입체 정규화 및 경사법에 대해 최적의 반복 복잡도 경계를 달성하기 위해.
• 정확하거나 근사적인 헤시안을 사용하는 적응형 입체 정규화와 적응형 경사법을 하나의 이단계 기반 기법으로 통합하기 위해.
• 제안된 방법이 이론적으로 최적성을 유지하면서도 대규모 머신러닝 문제에서 수치 성능를 향상시키는지 확인하기 위해.

제안 방법

• 이 방법은 초기 가속 단계와 후속 정밀화 단계로 구성된 이단계 적응형 기법을 사용하며, 실행 중에 알고리즘 파라미터를 동적으로 조정한다.
• 문제 상수의 사전 지식이 없이도 정규화와 스텝 크기를 조정하기 위해 적응형 선 탐색과 신뢰영역 유사 전략을 사용한다.
• 하위 문제는 Krylov 부분공간에서 랭초스 과정을 사용하여 근사적으로 해결함으로써, 반복당 $O(d)$ 비용으로 효율적인 계산을 가능하게 한다.
• 근사 해에 대해 일阶 최적성 조건을 강제 적용한다: $\mathbf{s}^\top\nabla f(\mathbf{x}_i) + \mathbf{s}^\top\nabla^2f(\mathbf{x}_i)\mathbf{s} + \sigma\|\mathbf{s}\|^3 = 0$.
• 적응형 입체 정규화와 경사법을 동일한 가속 메커니즘 하에 통합함으로써 통합된 수렴 분석이 가능해진다.
• 실험에서는 전환 기준을 사용한다: 반복당 진전이 10% 미만으로 떨어지면, 가속 단계에서 적응형 입체 정규화 단계로 전환한다.

실험 결과

연구 질문

• RQ1 헤시안 리프시츠 상수를 알지 못해도 $O(1/\epsilon^{1/3})$ 반복 복잡도를 달성할 수 있는 완전히 적응형 알고리즘이 입체 정규화에 대해 최적의 성능를 낼 수 있는가?
• RQ2 동일한 적응형 프레임워크가 경사법을 가속화하여, 경사 리프시츠 상수 지식이 없이도 최적의 $O(1/\epsilon^{1/2})$ 복잡도를 달성할 수 있는가?
• RQ3 일阶 및 이阶 방법의 가속을 하나의 적응형 기법으로 통합하면서도 이론적 최적성을 유지할 수 있는가?
• RQ4 대규모 머신러닝 문제에서 기존 방법과 비교해 볼 때, 적응형 이단계 기법의 수치 성능는 어떠한가?

주요 결과

• 정확한 헤시안을 사용하는 적응형 입체 정규화 방법은 $O(1/\epsilon^{1/3})$ 반복 복잡도를 달성하며, 문제 상수를 완전히 알고 있는 네스테로프 방법의 최고 수준의 경계와 일치한다.
• 헤시안을 근사적으로 사용하는 적응형 입체 정규화 방법의 변형도 하위 문제의 근사적 해를 통해 $O(1/\epsilon^{1/3})$ 반복 복잡도를 달성한다.
• 적응형 경사법은 $O(1/\epsilon^{1/2})$ 반복 복잡도를 달성하며, 이는 최적의 것으로 알려져 있고 일阶 방법의 최고 수준의 경계와 일치한다.
• 정규화된 로지스틱 회귀 문제에 대한 수치 실험 결과, 제안된 AARC 방법은 계산 시간과 반복 횟수 측면에서 ARC, L-BFGS, TR, AAGD, AGD를 모두 능가한다.
• 특히 정수적 수렴 영역에 진입하기 이전에 AARC 방법은 초기 적응형 가속 단계 덕분에 ARC보다 뚜렷한 가속 효과를 보인다.
• 랭초스 기반 하위 문제 근사 해법은 효율성과 정확성을 유지하면서도 반복당 $O(d)$ 비용을 유지하며 일阶 최적성 조건을 충족시킨다.