[论文解读] Computational Complexity versus Statistical Performance on Sparse Recovery Problems

Vincent Roulet, Nicolas Boumal+1 more|arXiv (Cornell University)|Jun 10, 2015

Sparse and Compressive Sensing Techniques参考文献 64被引用 48

一句话总结

本文通过证明一个单一的条件数——即信号稀疏度与最大可恢复信号大小之比——同时控制了一阶方法的线性收敛速率和鲁棒恢复阈值，建立了稀疏恢复问题中计算复杂度与统计恢复性能之间的直接对应关系。作者表明，凸规划的Renegar条件数与感知矩阵的限制奇异值相匹配，从而在压缩感知中统一了算法复杂度与统计性能。

ABSTRACT

We show that several classical quantities controlling compressed sensing performance directly match classical parameters controlling algorithmic complexity. We first describe linearly convergent restart schemes on first-order methods solving a broad range of compressed sensing problems, where sharpness at the optimum controls convergence speed. We show that for sparse recovery problems, this sharpness can be written as a condition number, given by the ratio between true signal sparsity and the largest signal size that can be recovered by the observation matrix. In a similar vein, Renegar's condition number is a data-driven complexity measure for convex programs, generalizing classical condition numbers for linear systems. We show that for a broad class of compressed sensing problems, the worst case value of this algorithmic complexity measure taken over all signals matches the restricted singular value of the observation matrix which controls robust recovery performance. Overall, this means in both cases that, in compressed sensing problems, a single parameter directly controls both computational complexity and recovery performance. Numerical experiments illustrate these points using several classical algorithms.

研究动机与目标

• 研究稀疏恢复问题中计算复杂度与统计性能之间的关系。
• 识别一个同时控制一阶算法收敛速率与压缩感知中恢复阈值的单一参数。
• 形式化Renegar条件数与感知矩阵限制奇异值之间的联系。
• 证明通过条件数衡量的最优解处的锐度决定了在一阶方法中的线性收敛性。
• 通过L1-正则化恢复问题的数值实验验证理论结果。

提出的方法

• 分析应用于稀疏恢复问题的一阶方法的线性收敛重启策略。
• 使用信号稀疏度与最大可恢复信号大小之比导出的条件数来定义最优解处的锐度。
• 将Renegar条件数作为凸规划的数据驱动复杂度度量，推广经典条件数。
• 证明Renegar条件数在所有信号上的最坏值等于感知矩阵的限制奇异值。
• 采用L1-Homotopy、TFOCS和LARS的数值实验，评估计算时间、恢复误差和条件数估计值。
• 计算锥限制条件数作为实际条件数的下界，验证其在相变行为中的作用。

实验结果

研究问题

• RQ1 一个单一的条件数能否统一分析稀疏恢复中计算复杂度与统计恢复性能？
• RQ2 通过条件数衡量的最优解锐度如何影响一阶方法的收敛速率？
• RQ3 凸规划的Renegar条件数在多大程度上与感知矩阵的限制奇异值相对应？
• RQ4 数值实验在相变附近如何反映计算复杂度与恢复阈值之间的理论联系？
• RQ5 为何某些求解器（如IPMs、L1-Homotopy）表现出与数据无关或近乎恒定的复杂度，尽管理论预期并非如此？

主要发现

• 定义为信号稀疏度与最大可恢复信号大小之比的条件数，同时控制了一阶方法的线性收敛速率和鲁棒恢复阈值。
• 凸规划的Renegar条件数与感知矩阵的限制奇异值相匹配，建立了算法复杂度与统计性能之间的直接联系。
• 数值实验表明，L1-Homotopy中计算时间较长的情况与相变附近恢复失败的实例一致，表明其与锥限制条件数一致。
• 锥限制条件数是实际条件数的下界，并解释了稀疏恢复中的计算与统计复杂度。
• 在相变附近（当p=300，s=15时n≈70），条件数急剧上升，与较差的恢复性能和更高的计算成本相关。
• 内点法（IPMs）和L1-Homotopy的迭代次数和计算时间大多保持恒定，表明在某些情况下实际实现可能使复杂度与数据驱动的条件数脱钩。