[论文解读] Strong NP-Hardness Result for Regularized $L_q$-Minimization Problems with Concave Penalty Functions.

Dongdong Ge, Zizhuo Wang+2 more|arXiv (Cornell University)|Jan 4, 2015

Optimization and Packing Problems被引用 5

一句话总结

本文证明了带凹惩罚函数（在零附近非线性）的正则化 $L_q$-最小化问题是强 NP-难问题，这意味着除非 P = NP，否则不存在完全多项式时间近似方案（FPTAS）。该结果解决了压缩感知和机器学习中广泛存在的稀疏优化问题的计算复杂性。

ABSTRACT

In this note, we consider the regularize $L_q$-minimization problem ($q\ge 1$) with a general penalty function. We show that if the penalty function is concave but not linear in a neighborhood of zero, then the optimization problem is strongly NP-hard. This result answers the complexity of many regularized optimization problems studied in the literature. It implies that it is impossible to have a fully polynomial-time approximation scheme (FPTAS) for a large class of regularization problems unless P = NP.

研究动机与目标

• 确定带一般凹惩罚函数的正则化 $L_q$-最小化问题的计算复杂性。
• 澄清此类问题是否存在高效的近似方案。
• 解决信号处理和机器学习中广泛使用的稀疏恢复与正则化技术的复杂性状态。

提出的方法

• 分析在零附近非线性但凹的惩罚函数下的 $L_q$-最小化问题的结构。
• 将一个已知的强 NP-难问题（如子集和问题或背包问题）归约到正则化 $L_q$-最小化问题。
• 利用凹惩罚函数的性质，证明优化问题继承了底层 NP-难问题的困难性。
• 证明除非 P = NP，否则此类问题不存在完全多项式时间近似方案（FPTAS）。
• 应用复杂性理论工具，基于惩罚函数在零附近的性质，建立强 NP-难性。
• 为所有 $q \geq 1$ 建立结果，涵盖广泛的正则化模型类别。

实验结果

研究问题

• RQ1 带凹惩罚函数的正则化 $L_q$-最小化问题是否具有计算可解性？
• RQ2 能否为这类问题设计完全多项式时间近似方案（FPTAS）？
• RQ3 使用凹惩罚函数的稀疏优化问题的复杂性状态如何？
• RQ4 惩罚函数在零附近的非线性是否影响问题的困难性？
• RQ5 在高效近似此类问题方面是否存在固有局限性？

主要发现

• 在零附近非线性但凹的惩罚函数下的正则化 $L_q$-最小化问题是强 NP-难问题。
• 该困难性结果对所有 $q \geq 1$ 均成立，涵盖了广泛的正则化模型。
• 除非 P = NP，否则该问题不具有完全多项式时间近似方案（FPTAS）。
• 该结果适用于文献中研究的许多稀疏恢复与压缩感知问题。
• 惩罚函数在零附近的非线性是导致强 NP-难性的关键因素。
• 研究结果解决了关于此类正则化问题复杂性的一个长期悬而未决的开放问题。