[论文解读] A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization

Bo Jiang, Tianyi Lin+1 more|arXiv (Cornell University)|Oct 13, 2017

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了一种统一的两阶段自适应方案，可在无需事先知晓Lipschitz常数的情况下，加速凸优化中的自适应三阶正则化方法与梯度方法。通过自适应地调整算法参数并近似求解子问题，该方法在三阶正则化下实现了 $O(1/ au^{1/3})$ 的最优迭代复杂度，在梯度方法下实现了 $O(1/ au^{1/2})$ 的最优迭代复杂度，与目前已知的最佳理论界一致，同时保持了完全的自适应性。

ABSTRACT

In this paper we propose a unified two-phase scheme for convex optimization to accelerate: (1) the adaptive cubic regularization methods with exact/inexact Hessian matrices, and (2) the adaptive gradient method, without any knowledge of the Lipschitz constants for the gradient or the Hessian. This is achieved by tuning the parameters used in the algorithm $ extit{adaptively}$ in its process of progression, which can be viewed as a relaxation over the existing algorithms in the literature. Under the assumption that the sub-problems can be solved approximately, we establish overall iteration complexity bounds for three newly proposed algorithms to obtain an $ε$-approximate solution. Specifically, we show that the adaptive cubic regularization methods with the exact/inexact Hessian matrix both achieve an iteration complexity in the order of $O\left( 1 / ε^{1/3} ight)$, which matches that of the original accelerated cubic regularization method presented in [Nesterov-2008-Accelerating] assuming the availability of the exact Hessian information and the Lipschitz constants, and that the sub-problems are solved to optimality. Under the same two-phase adaptive acceleration framework, the gradient method achieves an iteration complexity in the order $O\left( 1 / ε^{1/2} ight)$, which is known to be best possible (cf. Nesterov-2013-Introductory). Our numerical experiment results show a clear effect of acceleration displayed in the adaptive Newton method with cubic regularization on a set of regularized logistic regression instances.

研究动机与目标

• 为凸优化中的第一阶与第二阶方法开发一种自适应、无参数的加速框架。
• 在无需了解梯度或Hessian矩阵Lipschitz常数的前提下，实现自适应三阶正则化与梯度方法的最优迭代复杂度界。
• 在单一两阶段方案下统一加速自适应三阶正则化（含精确/近似Hessian）与自适应梯度方法。
• 证明所提方法在保持理论最优性的同时，能够在大规模机器学习问题上提升数值性能。

提出的方法

• 该方法采用两阶段自适应方案：初始加速阶段后接精炼阶段，执行过程中动态调整算法参数。
• 利用自适应线搜索与类似信赖域的策略，无需事先知晓问题常数即可调节正则化参数与步长。
• 通过Krylov子空间中的Lanczos过程近似求解子问题，实现每轮迭代仅需 $O(d)$ 的计算成本。
• 在近似解上强制满足一阶最优性条件：$\mathbf{s}^\top\nabla f(\mathbf{x}_i) + \mathbf{s}^\top\nabla^2f(\mathbf{x}_i)\mathbf{s} + \sigma\|\mathbf{s}\|^3 = 0$。
• 该框架将自适应三阶正则化与梯度方法集成于同一加速机制下，支持统一的收敛性分析。
• 实验中采用切换准则：当每轮迭代的进展低于10%时，算法从加速阶段切换至自适应三阶正则化阶段。

实验结果

研究问题

• RQ1 能否设计一种完全自适应的算法，在未知Hessian矩阵Lipschitz常数的情况下，实现三阶正则化方法的最优 $O(1/\epsilon^{1/3})$ 迭代复杂度？
• RQ2 同一自适应框架是否可实现梯度方法的最优 $O(1/\epsilon^{1/2})$ 复杂度，且无需已知梯度Lipschitz常数？
• RQ3 是否可能在单一自适应方案下统一加速一阶与二阶方法，同时保持理论最优性？
• RQ4 与现有方法相比，该自适应两阶段方案在大规模机器学习问题上的数值表现如何？

主要发现

• 采用精确Hessian的自适应三阶正则化方法实现了 $O(1/\epsilon^{1/3})$ 的迭代复杂度，与Nesterov方法在完全知晓问题常数条件下的最佳已知界一致。
• 自适应三阶正则化方法的近似Hessian变体在子问题近似求解条件下，同样实现了 $O(1/\epsilon^{1/3})$ 的迭代复杂度。
• 自适应梯度方法实现了 $O(1/\epsilon^{1/2})$ 的迭代复杂度，该复杂度已被证明为最优，且与一阶方法的最佳已知界一致。
• 在正则化逻辑回归上的数值实验表明，所提出的AARC方法在计算时间与迭代次数上均优于ARC、L-BFGS、TR、AAGD与AGD。
• AARC方法在进入二次收敛区域之前表现出显著加速，这主要得益于初始的自适应加速阶段。
• 基于Lanczos的子问题近似解法保持了高效性与准确性，实现了每轮迭代仅需 $O(d)$ 的计算成本，同时满足一阶最优性条件。