[论文解读] Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information

Peng Xu, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Aug 23, 2017

Sparse and Compressive Sensing Techniques参考文献 117被引用 54

一句话总结

该论文在不精确 Hessian 信息下，开发了使用信赖域和自适应三次正则化的牛顿型方法用于非凸优化，在放宽的 Hessian 近似条件下建立最优迭代复杂度，并给出在高概率保证下用于有限和问题的子采样策略。

ABSTRACT

We consider variants of trust-region and cubic regularization methods for non-convex optimization, in which the Hessian matrix is approximated. Under mild conditions on the inexact Hessian, and using approximate solution of the corresponding sub-problems, we provide iteration complexity to achieve $ ε$-approximate second-order optimality which have shown to be tight. Our Hessian approximation conditions constitute a major relaxation over the existing ones in the literature. Consequently, we are able to show that such mild conditions allow for the construction of the approximate Hessian through various random sampling methods. In this light, we consider the canonical problem of finite-sum minimization, provide appropriate uniform and non-uniform sub-sampling strategies to construct such Hessian approximations, and obtain optimal iteration complexity for the corresponding sub-sampled trust-region and cubic regularization methods.

研究动机与目标

• 激励在非凸优化中使用不精确 Hessian 的鲁棒牛顿型方法。
• 引入一个放宽的 Hessian 近似条件，使得在有保证的前提下实现实用的 Hessian 构造。
• 分析收敛性质和迭代复杂度，以实现近似二阶最优性。
• 开发并评估在有限和设定下构造不精确 Hessian 的子采样策略。
• 突出相对于先前条件的优势，并展示对大规模问题的适用性。

提出的方法

• 在不精确 Hessian 下研究信赖域和自适应三次正则化（ARC）框架。
• 给出条件1：不精确 Hessian 满足(H(x_t)−∇^2F(x_t))s_t 的界以及 H(x_t) 的范数统一界。
• 允许子问题的近似解（Cauchy 和 Eigenpoint 条件）以确保下降。
• 证明在条件1下，最坏情形的迭代复杂度与精确版本相匹配。
• 通过随机数值线性代数（RandNLA）技术提供先验引导的 Hessian 构造。
• 对于有限和问题，设计子采样策略以实现高概率的 Hessian 近似。

实验结果

研究问题

• RQ1 在使用不精确 Hessian 时，信赖域和立方正则化牛顿型方法是否能收敛到（ε_g, ε_H）-最优解？
• RQ2 与精确方法相比，在放宽的不精确 Hessian 条件下可达到的迭代复杂度界限是什么？
• RQ3 RandNLA 为基础的子采样如何产生满足所需不精确性条件的高概率 Hessian 近似？
• RQ4 子采样的 TR 和 ARC 方法在有限和问题（P1、P2）上是否保留最优的二阶复杂度？
• RQ5 新不精确 Hessian 条件在分布式或大规模设定中相对于先前条件提供了哪些实际优势？

主要发现

• 论文证明，达到条件1 的不精确 Hessian 的 TR 和 ARC 变体在（ε_g, ε_H）-最优性下，最坏情形迭代复杂度与它们的精确对手相同。
• 一个更弱且更灵活的 Hessian 近似条件使得借助 RandNLA 技术进行实用的先验 Hessian 构造成为可能。
• 对于有限和问题的子采样策略提供高概率保证，确保 Hessian 近似达到所需精度，甚至更强界限。
• 在（P1）和（P2）下子采样 TR 与 ARC 方法的最优迭代复杂度被给出。
• 所提出的框架允许在分布式设置中在迭代过程中固定不精确 Hessian，降低通信与计算开销。