[论文解读] A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems

Tianxiang Liu, Ting Kei Pong+1 more|arXiv (Cornell University)|Oct 16, 2017

Sparse and Compressive Sensing Techniques参考文献 24被引用 6

一句话总结

本论文提出了一种连续差-凸（DC）逼近方法，用于求解涉及光滑函数和非负、可能非光滑函数的非凸非光滑优化问题，且这些函数的近亲映射易于计算。通过使用连续DC函数的Moreau包络逼近非光滑分量，该方法能够利用凸化技术结合一阶方法高效求解，并在温和假设下证明了迭代序列有界且收敛至驻点。

ABSTRACT

We consider a class of nonconvex nonsmooth optimization problems whose objective is the sum of a smooth function and a finite number of nonnegative proper closed possibly nonsmooth functions (whose proximal mappings are easy to compute), some of which are further composed with linear maps. This kind of problems arises naturally in various applications when different regularizers are introduced for inducing simultaneous structures in the solutions. Solving these problems, however, can be challenging because of the coupled nonsmooth functions: the corresponding proximal mapping can be hard to compute so that standard first-order methods such as the proximal gradient algorithm cannot be applied efficiently. In this paper, we propose a successive difference-of-convex approximation method for solving this kind of problems. In this algorithm, we approximate the nonsmooth functions by their Moreau envelopes in each iteration. Making use of the simple observation that Moreau envelopes of nonnegative proper closed functions are continuous {\em difference-of-convex} functions, we can then approximately minimize the approximation function by first-order methods with suitable majorization techniques. These first-order methods can be implemented efficiently thanks to the fact that the proximal mapping of {\em each} nonsmooth function is easy to compute. Under suitable assumptions, we prove that the sequence generated by our method is bounded and any accumulation point is a stationary point of the objective. We also discuss how our method can be applied to concrete applications such as nonconvex fused regularized optimization problems and simultaneously structured matrix optimization problems, and illustrate the performance numerically for these two specific applications.

研究动机与目标

• 解决标准近亲梯度方法因耦合的非光滑项而失效的非凸非光滑优化问题挑战。
• 克服在结构化优化问题中，多个非光滑函数之和的近亲映射计算不可行的问题。
• 设计一种方法，在保持高效性的同时，利用各分量非光滑部分的易计算近亲映射，同时处理非凸性。
• 在温和假设下（包括目标函数的水平有界性和连续性）确保收敛至驻点。
• 使方法可应用于涉及同时结构的现实世界问题，如融合正则化与矩阵结构优化。

提出的方法

• 使用每个非光滑函数的Moreau包络来逼近目标函数中的非光滑部分，该包络为连续差-凸（DC）函数。
• 利用Moreau包络的DC结构，通过凸化技术结合一阶方法实现最小化。
• 在每次迭代中，求解一个包含光滑部分梯度和各非光滑分量近亲映射的凸化子问题。
• 采用非单调线搜索策略，并自适应更新惩罚参数，以确保目标函数的充分下降。
• 利用各 $ P_i $ 的近亲映射易于计算的事实，即使其和难以计算。
• 采用一种连续逼近方案，迭代更新Moreau包络逼近以逐步优化解。

实验结果

研究问题

• RQ1 能否设计一种连续DC逼近方法，以高效求解具有多个非光滑分量的非凸非光滑优化问题？
• RQ2 通过其Moreau包络逼近非光滑函数，是否能保持使用高效一阶方法的能力？
• RQ3 在何种条件下，所提算法能保证收敛至驻点？
• RQ4 该方法在具有同时结构的问题（如融合正则化与低秩矩阵恢复）上的数值表现如何？
• RQ5 该方法能否应用于多个正则化器与线性映射复合的结构化矩阵优化问题？

主要发现

• 在给定假设下，算法生成的序列有界，确保了稳定性。
• 迭代序列的任意聚点均为原始非凸非光滑问题的驻点。
• 通过确保充分下降且因惩罚参数有界的线搜索策略，实现了方法的收敛性。
• 数值实验表明，该方法在非凸融合正则化问题和同时结构化的矩阵优化问题中均有效，目标函数值与残差范数持续下降。
• 该算法在不同参数设置下表现出稳健性能，在测试问题中，3000次迭代内目标函数值从约1000降至约100。
• NPG主子算法的收敛性已得到证明，且满足 $ \|\bm{x}^{t+1}-\bm{x}^{t}\| \to 0 $，支持整体收敛行为。