[论文解读] Convergence analysis of a proximal-type algorithm for DC programs with applications to variable selection

Wu, Shuang, Bui Van Dinh+3 more|arXiv (Cornell University)|Aug 17, 2015

Optimization and Variational Analysis参考文献 26被引用 3

一句话总结

本文提出了一种用于求解形式为 $\min \{ \varphi(x) + g(x) - h(x) \}$ 的非凸DC规划的增强型邻近点算法，其中 $\varphi$ 是可微的，$g,h$ 是凸的。通过将邻近点迭代与Fukushima-Mine的下降方向相结合，该方法在Kurdyka-Łojasiewicz性质下确保了全局收敛性和收敛速率，并将收敛性分析扩展至惯性变体。

ABSTRACT

We consider a minimization problem of the form $P(φ, g, h):$ $$\min\left\{f(x):= φ(x) + g(x) - h(x) \colon x \in \mathbb{R}^n ight\},$$ where $φ$ is a differentiable function and $g,$ $h$ are convex functions, and introduce iterative methods to finding a critical point of $f$ when $f$ is differentiable. We show that the point computed by proximal point algorithm at each iteration can be used to determine a descent direction for the objective function at this point. This algorithm can be considered as a combination of proximal point algorithm together with a linesearch step that uses this descent direction. We also study convergence results of these algorithms and the inertial proximal methods proposed by Maing$\acute{e}$ and Moudafi (SIAM J. Optim. {\bf 19}(2008), 397--413) under the main assumption that the objective function satisfies the Kurdika--Łojasiewicz property. The proposed algorithm is then applied to solve the variable selection problem in linear regression.

研究动机与目标

• 为最小化形如 $f(x) = \varphi(x) + g(x) - h(x)$ 的DC函数开发一种全局收敛算法，其中 $\varphi$ 可微，$g,h$ 为凸函数。
• 通过将下降方向整合进邻近点框架，改善算法的收敛行为。
• 在Kurdyka-Łojasiewicz不等式条件下，建立所提算法的全局收敛性与收敛速率。
• 将收敛性分析扩展至DC规划中的惯性邻近方法。
• 为在非凸优化中使用邻近型算法提供理论依据，并应用于变量选择问题。

提出的方法

• 提出一种增强型邻近点算法，结合了基于 $\varphi$ 的梯度与 $g,h$ 的次梯度所导出的下降方向的邻近迭代。
• 在下降方向上采用线搜索步骤，以确保每次迭代中目标函数的充分下降。
• 以Kurdyka-Łojasiewicz（KŁ）不等式作为主要假设，用于证明全局收敛性与收敛速率。
• 借鉴近期基于KŁ的收敛性分析技术，处理非凸、非光滑的DC规划问题。
• 通过利用KŁ性质，分析Maingé与Moudafi提出的惯性邻近方法，建立其收敛性。
• 基于KŁ指数 $\kappa$ 推导收敛速率估计，表明当 $\kappa \in (0,1)$ 时，序列呈现线性或次线性收敛，具体取决于 $\kappa$。

实验结果

研究问题

• RQ1 能否设计一种带有下降方向的邻近型算法，实现对具有可微 $\varphi$ 和凸 $g,h$ 的DC规划的全局收敛？
• RQ2 在何种条件下，所提出的增强型邻近点算法能够实现全局收敛并具有可量化的收敛速率？
• RQ3 Kurdyka-Łojasiewicz不等式如何支持对非凸DC规划的收敛性分析？
• RQ4 标准邻近方法的收敛结果能否推广至DC规划中的惯性变体？
• RQ5 所提算法的收敛速率如何以KŁ指数 $\kappa$ 表示？

主要发现

• 在Kurdyka-Łojasiewicz性质下，所提出的增强型邻近点算法全局收敛至DC规划的临界点。
• 通过沿下降方向的线搜索步骤，该算法在每次迭代中确保目标函数的充分下降。
• 在相同的KŁ假设下，惯性邻近方法的全局收敛性得以建立，扩展了先前结果。
• 收敛速率被量化：若KŁ指数 $\kappa \in (0,1)$，则序列依 $\kappa$ 的取值线性或次线性收敛，且给出了基于 $\|z^{k+1} - z^k\|$ 的显式边界。
• 收敛性证明依赖于利用KŁ不等式与差值的可 summability 性质，证明序列 $\{z^k\}$ 为柯西序列。
• 分析表明，由于DC分解的结构，该算法适用于变量选择问题。