[论文解读] Iteration Bounds for Finding the $\epsilon$-Stationary Points for Structured Nonconvex Optimization

Bo Jiang, Shuzhong Zhang|arXiv (Cornell University)|Oct 15, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

该论文为具有结构化非凸目标的块结构非凸优化问题提出了近端条件梯度法和近端梯度投影算法。它引入了一种适用于此类问题的新概念ϵ-平稳性，并在梯度满足广义霍尔德连续性条件时建立了O(1/ϵ^q)的迭代复杂度界，当目标函数为凹函数时，复杂度优化为O(1/ϵ)。该方法在张量逼近和稀疏张量PCA问题上取得了有前景的数值结果。

ABSTRACT

In this paper we study proximal conditional-gradient (CG) and proximal gradient-projection type algorithms for a block-structured constrained nonconvex optimization model, which arises naturally from tensor data analysis. First, we introduce a new notion of $\epsilon$-stationarity, which is suitable for the structured problem under consideration. %, compared with other similar solution concepts. We then propose two types of first-order algorithms for the model based on the proximal conditional-gradient (CG) method and the proximal gradient-projection method respectively. If the nonconvex objective function is in the form of mathematical expectation, we then discuss how to incorporate randomized sampling to avoid computing the expectations exactly. For the general block optimization model, the proximal subroutines are performed for each block according to either the block-coordinate-descent (BCD) or the maximum-block-improvement (MBI) updating rule. If the gradient of the nonconvex part of the objective $f$ satisfies $\| abla f(x) - abla f(y)\|_q \le M \|x-y\|_p^\delta$ where $\delta=p/q$ with $1/p+1/q=1$, then we prove that the new algorithms have an overall iteration complexity bound of $O(1/\epsilon^q)$ in finding an $\epsilon$-stationary solution. If $f$ is concave then the iteration complexity reduces to $O(1/\epsilon)$. Our numerical experiments for tensor approximation problems show promising performances of the new solution algorithms.

研究动机与目标

• 解决张量数据分析中出现的约束性、块结构非凸优化问题。
• 为非凸、非光滑、块优化模型定义一种适合的ϵ-平稳性新概念。
• 开发一阶算法——近端条件梯度法与近端梯度投影法——并提供其迭代复杂度的理论保证。
• 在目标函数涉及数学期望的随机设置中，引入随机采样技术。
• 在稀疏张量PCA和带惩罚项的零方差线性判别分析问题上分析并验证所提算法的性能。

提出的方法

• 提出一种新的ϵ-平稳性条件：对所有y ∈ S，有∇f(x)⊤(y−x) + h(y)−h(x) ≥ −ϵ，该条件将标准平稳性推广至非凸、非光滑、约束型优化场景。
• 提出两种算法框架：近端条件梯度法与近端梯度投影法，均采用块更新策略，依据BCD或MBI规则进行。
• 对梯度施加广义霍尔德连续性条件：∥∇f(x)−∇f(y)∥_q ≤ M∥x−y∥_p^δ，其中δ = p/q且1/p + 1/q = 1。
• 在随机设置中应用随机采样以近似期望值，避免精确计算完整梯度。
• 在稀疏张量PCA的L1正则化子问题中使用具有闭式解的近端子问题求解器，实现高效计算。
• 采用具有自适应步长的线搜索策略，并将算法应用于等式约束与不等式约束两种形式。

实验结果

研究问题

• RQ1 对于具有约束的块结构非凸非光滑优化问题，应如何定义合适的ϵ-平稳性概念？
• RQ2 一阶方法是否能在这种结构化非凸问题中实现改进的迭代复杂度界？
• RQ3 迭代复杂度如何依赖于非凸部分的光滑性，特别是在梯度满足广义霍尔德连续性条件下？
• RQ4 随机采样能否有效集成到近端算法中，以处理随机非凸优化问题？
• RQ5 在真实张量数据与分类问题上，所提算法与现有方法（如BCD或ADMM）在实际性能上如何比较？

主要发现

• 所提出的近端条件梯度法与梯度投影算法在梯度满足广义霍尔德连续性条件时，可实现寻找ϵ-平稳解的总体迭代复杂度为O(1/ϵ^q)。
• 当非凸部分f为凹函数时，迭代复杂度降低至O(1/ϵ)，该结果为最优，与凸优化情形下的已知界一致。
• 在稀疏张量PCA的数值实验中，算法5（近端条件梯度法）表现最稳定，通常在数百次迭代内即可找到非零局部极小值。
• 算法6（近端梯度投影法）在稀疏张量PCA中常收敛至平凡的零解，表明其在处理促进稀疏性的正则化项时存在局限性。
• 在带惩罚项的零方差线性判别分析问题中，算法1（α_k = 1）收敛至与ADMM相同的解，但迭代次数显著更少，显示出更快的收敛速度。