[论文解读] Exact penalty decomposition method for zero-norm minimization based on MPEC formulation

Shujun Bi, Xiaolan Liu+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用 4

一句话总结

本文通过将零范数最小化问题重新表述为互补约束数学规划（MPEC），提出了一种精确罚分分解方法。该方法建立了精确罚分公式，并开发了一种分解算法，通过部分邻近点法结合L-BFGS或半光滑牛顿-CG方法求解有限个加权$l_1$-范数子问题。在零空间条件下，该方法可实现全局最优性，并在可恢复性和计算效率方面优于现有求解器。

ABSTRACT

We reformulate the zero-norm minimization problem as an equivalent mathematical program with equilibrium constraints and establish that its penalty problem, induced by adding the complementarity constraint to the objective, is exact. Then, by the special structure of the exact penalty problem, we propose a decomposition method that can seek a global optimal solution of the zero-norm minimization problem under the null space condition in [M. A. Khajehnejad et al. IEEE Trans. Signal. Process., 59(2011), pp. 1985-2001] by solving a finite number of weighted $l_1$-norm minimization problems. To handle the weighted $l_1$-norm subproblems, we develop a partial proximal point algorithm where the subproblems may be solved approximately with the limited memory BFGS (L-BFGS) or the semismooth Newton-CG. Finally, we apply the exact penalty decomposition method with the weighted $l_1$-norm subproblems solved by combining the L-BFGS with the semismooth Newton-CG to several types of sparse optimization problems, and compare its performance with that of the penalty decomposition method [Z. Lu and Y. Zhang, SIAM J. Optim., 23(2013), pp. 2448- 2478], the iterative support detection method [Y. L. Wang and W. T. Yin, SIAM J. Sci. Comput., 3(2010), pp. 462-491] and the state-of-the-art code FPC_AS [Z. W. Wen et al. SIAM J. Sci. Comput., 32(2010), pp. 1832-1857]. Numerical comparisons indicate that the proposed method is very efficient in terms of the recoverability and the required computing time.

研究动机与目标

• 为解决由于非凸性和不连续性导致NP难的零范数最小化问题提出方法。
• 开发一种全局收敛算法，可在零空间条件下找到最优解。
• 通过提升可恢复性和减少计算时间，改进现有方法如罚分分解和迭代支持检测。
• 设计一种高效的加权$l_1$-范数最小化子问题求解器，采用L-BFGS和半光滑牛顿-CG方法。

提出的方法

• 利用零范数的变分表征，将零范数最小化问题重新表述为等价的MPEC。
• 建立精确罚分公式，当罚参数超过某一阈值时，罚问题的全局最优解与原问题的解一致。
• 提出一种分解方法，通过求解有限个加权$l_1$-范数最小化子问题来逼近零范数问题的全局最优解。
• 为每个加权$l_1$-范数子问题开发一种部分邻近点算法（PPA），允许通过L-BFGS或半光滑牛顿-CG方法实现不精确求解。
• 将子问题求解器集成到分解框架中，形成精确罚分分解方法（算法5.1）。
• 采用文献[23]中的零空间条件作为该方法可恢复零范数问题全局最优解的充分条件。

实验结果

研究问题

• RQ1 零范数最小化问题能否通过MPEC重构实现等价表示，从而支持精确罚分方法？
• RQ2 当罚参数足够大时，MPEC的精确罚分公式是否能产生原零范数问题的全局最优解？
• RQ3 基于求解加权$l_1$-范数子问题的分解方法，在零空间条件下能否实现全局最优性？
• RQ4 所提方法在解的可恢复性和计算时间方面与FPC_AS和ISDM相比表现如何？
• RQ5 分解方法中的子问题能否通过L-BFGS和半光滑牛顿-CG方法实现高效求解，且允许不精确子问题求解？

主要发现

• MPEC的精确罚分公式是精确的：当罚参数超过某一阈值时，其全局最优解与原零范数问题的解完全一致。
• 所提出的分解方法在文献[23]的零空间条件下，可恢复零范数问题的全局最优解。
• 算法5.1在所有测试问题中，包括具有挑战性的Sparco数据集实例，其可恢复性优于FPC_AS，与ISDM相比相当或更优。
• 在计算时间方面，算法5.1显著快于ISDM，尤其在大规模和稀疏问题上表现更优。
• 对于“jitter”和“spiketrn”问题，算法5.1分别仅需0.36秒和1.45秒，而ISDM分别耗时4.82秒和4.82秒，且精度更高。
• 在24个测试问题中，该方法在18个问题上实现了最低的恢复误差，其中在“jitter”和“spiketrn”问题上的误差分别为1.27e-7和1.94e-9，优于FPC_AS和ISDM。