[论文解读] Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points

Krishnakumar Balasubramanian, Saeed Ghadimi|arXiv (Cornell University)|Sep 17, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了一类零阶随机优化算法，用于解决具有约束、高维及避免鞍点的非凸问题，仅依赖函数评估。提出了零阶条件梯度方法用于约束优化，一种具有对数多对数维度依赖的截断随机梯度方法，以及一种基于二阶 Stein's 恒等式的新型 Hessian 估计器，从而实现采用立方正则化牛顿法，达到 $\tilde{\rm O}(d/\rho^{7/2})$ 的 oracle 复杂度，以获得 $\rho$-准确的二阶驻点。

ABSTRACT

In this paper, we propose and analyze zeroth-order stochastic approximation algorithms for nonconvex and convex optimization, with a focus on addressing constrained optimization, high-dimensional setting and saddle-point avoiding. To handle constrained optimization, we first propose generalizations of the conditional gradient algorithm achieving rates similar to the standard stochastic gradient algorithm using only zeroth-order information. To facilitate zeroth-order optimization in high-dimensions, we explore the advantages of structural sparsity assumptions. Specifically, (i) we highlight an implicit regularization phenomenon where the standard stochastic gradient algorithm with zeroth-order information adapts to the sparsity of the problem at hand by just varying the step-size and (ii) propose a truncated stochastic gradient algorithm with zeroth-order information, whose rate of convergence depends only poly-logarithmically on the dimensionality. We next focus on avoiding saddle-points in non-convex setting. Towards that, we interpret the Gaussian smoothing technique for estimating gradient based on zeroth-order information as an instantiation of first-order Stein's identity. Based on this, we provide a novel linear-(in dimension) time estimator of the Hessian matrix of a function using only zeroth-order information, which is based on second-order Stein's identity. We then provide an algorithm for avoiding saddle-points, which is based on a zeroth-order cubic regularization Newton's method and discuss its convergence rates.

研究动机与目标

• 解决零阶优化在非凸、有约束和高维问题中缺乏理论保证的问题。
• 在仅有限获取梯度或 Hessian 信息的条件下，开发收敛速率与一阶方法相当或接近的零阶算法。
• 仅通过函数评估实现结构稀疏性下的高效优化，并在非凸设置中避免鞍点。
• 通过基于二阶 Stein's 恒等式的零阶 Hessian 估计，提供二阶驻点的收敛速率。
• 探索约束几何、稀疏性与高维优化中零阶信息之间的相互作用。

提出的方法

• 提出一种用于约束优化的零阶条件梯度算法，在仅使用零阶信息时，其收敛速率与随机梯度下降相当。
• 提出一种使用零阶信息的截断随机梯度方法，其维度依赖为多对数，优于标准零阶方法中的线性依赖。
• 在零阶梯度下降中观察到隐式正则化效应，通过调整步长自适应捕捉稀疏性，无需显式稀疏性诱导惩罚。
• 基于二阶 Stein's 恒等式，推导出仅依赖函数查询的线性维度 Hessian 估计器，实现高效的 Hessian 近似。
• 设计一种用于避免鞍点的零阶立方正则化牛顿方法，利用 Hessian 估计器实现二阶驻点。
• 将高斯平滑作为一阶 Stein's 恒等式的特例，用于解释梯度估计，并通过二阶 Stein's 恒等式将其扩展至 Hessian 估计。

实验结果

研究问题

• RQ1 在仅能获取零阶信息时，条件梯度方法能否实现与随机梯度下降相当的收敛速率？
• RQ2 能否通过利用结构稀疏性使高维中的零阶优化更高效，步长选择在此过程中起什么作用？
• RQ3 如何从零阶查询中估计二阶信息，以在非凸优化中避免鞍点？
• RQ4 在非凸随机优化中，仅使用函数评估达到二阶驻点的 oracle 复杂度是多少？
• RQ5 约束几何、稀疏性与零阶信息之间的相互作用是否能在高维设置中带来更优的收敛速率？

主要发现

• 零阶条件梯度算法实现了与随机梯度下降相似的收敛速率，复杂度与维度呈线性关系，实现了仅通过函数查询的高效约束优化。
• 使用零阶信息的截断随机梯度方法仅依赖维度的多对数因子，显著优于标准方法中的线性依赖，实现了更优的收敛速率。
• 在零阶梯度下降中观察到隐式正则化效应，通过调整步长自适应捕捉稀疏性，无需显式稀疏性诱导惩罚。
• 基于二阶 Stein's 恒等式的新型 Hessian 估计器，仅通过函数评估即可实现线性维度的 Hessian 近似，为二阶方法奠定了基础。
• 所提出的零阶立方正则化牛顿方法在寻找 $\rho$-准确的二阶驻点时，达到 $\tilde{\rm O}(d/\rho^{7/2})$ 的 oracle 复杂度，Hessian 估计的总样本复杂度为 $\tilde{\rm O}(d^4/\rho^{5/2})$。
• 零阶 oracle 调用的总次数为 $\tilde{\rm O}(d/\rho^{7/2})$，表明在非凸问题中使用二阶信息可实现高精度收敛的优势。