[论文解读] Efficient DC Algorithm for Constrained Sparse Optimization

Katsuya Tono, Akiko Takeda+1 more|arXiv (Cornell University)|Jan 30, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用 22

一句话总结

该论文提出了一种高效的近端 DC 算法（PDCA）及其加速变体（APDCA），用于带有 ℓ₀-约束和凸约束的稀疏优化问题。通过使用平滑的 DC 表示法重新表述 ℓ₀-约束，子问题简化为简单的投影操作，从而实现闭式解并加快收敛速度。APDCA 在凸规划中实现 O(1/t²) 的收敛速率，并实现对驻点的子序列收敛。

ABSTRACT

We address the minimization of a smooth objective function under an $\ell_0$-constraint and simple convex constraints. When the problem has no constraints except the $\ell_0$-constraint, some efficient algorithms are available; for example, Proximal DC (Difference of Convex functions) Algorithm (PDCA) repeatedly evaluates closed-form solutions of convex subproblems, leading to a stationary point of the $\ell_0$-constrained problem. However, when the problem has additional convex constraints, they become inefficient because it is difficult to obtain closed-form solutions of the associated subproblems. In this paper, we reformulate the problem by employing a new DC representation of the $\ell_0$-constraint, so that PDCA can retain the efficiency by reducing its subproblems to the projection operation onto a convex set. Moreover, inspired by the Nesterov's acceleration technique for proximal methods, we propose the Accelerated PDCA (APDCA), which attains the optimal convergence rate if applied to convex programs, and performs well in numerical experiments.

研究动机与目标

• 为解决现有 DC 算法在求解带有附加凸约束的 ℓ₀-约束稀疏优化问题时效率低下的问题。
• 构建 ℓ₀-约束的 DC 表示，确保差分中的第一个凸函数为平滑函数，从而在子问题中实现闭式解。
• 通过基于投影的子问题，将近端 DC 算法（PDCA）扩展至凸约束下，保持算法效率。
• 通过将 Nesterov 加速技术适配至非凸 DC 规划，实现收敛速度的加速，得到 APDCA，其在凸规划中达到最优的 O(1/t²) 收敛速率。
• 通过在合成数据和真实世界数据上的实验验证，证明所提方法在收敛速度和解质量方面优于现有 DCA 框架。

提出的方法

• 将 ℓ₀-约束重新表述为两个凸函数之差，其中第一个函数为平滑函数，从而通过投影到凸集实现子问题的高效求解。
• 将 PDCA 应用于变换后的问题，其中每个子问题简化为对凸约束集的投影，确保获得闭式解。
• 通过引入非单调加速技术（受 Nesterov 方法启发）于非凸规划，提出加速近端 DC 算法（APDCA）。
• 采用包含辅助变量和外推的三步迭代格式，实现更快的收敛速度，并基于李雅普诺夫函数进行收敛速率分析。
• 通过证明迭代序列中步长类项的有界性与趋于零，确保算法收敛至驻点。
• 利用 PDCA 与近端梯度法（PGM）之间的联系，验证加速框架的合理性，并将其推广至非凸设置。

实验结果

研究问题

• RQ1 能否构建 ℓ₀-约束的平滑 DC 表示，使得在凸约束下子问题可实现闭式解？
• RQ2 与标准 DCA 或采用非平滑 DC 分解的 PDCA 相比，所提出的 PDCA 变体在引入额外凸约束时是否仍保持高效？
• RQ3 Nesterov 风格的加速能否成功适配至非凸 DC 规划，从而在凸规划中实现 O(1/t²) 的收敛速率？
• RQ4 加速算法（APDCA）在子序列收敛至驻点方面的收敛行为如何？
• RQ5 在实践中，所提方法与现有基于 DCA 的方法相比，在约束稀疏优化问题中表现如何？

主要发现

• 所提出的 DC 表示确保 PDCA 中的子问题简化为对凸集的投影操作，从而实现闭式解，显著提升计算效率。
• 当应用于凸规划时，APDCA 实现 O(1/t²) 的收敛速率，与 Nesterov 加速近端梯度法的最优速率一致。
• 即使在非单调线搜索策略下，算法仍能实现对非凸问题驻点的子序列收敛。
• 在合成数据和真实世界数据上的数值实验表明，APDCA 在收敛速度和解质量方面均优于现有基于 DCA 的方法。
• 该方法在信号处理、生物信息学和机器学习等应用中对带有 ℓ₀-约束与 ℓ₂-范数或非负性约束的约束稀疏优化问题具有有效性。
• 理论分析证实了迭代序列的有界性，以及相邻迭代差值趋于零，支持算法收敛至驻点。