[论文解读] Constructing test instances for Basis Pursuit Denoising

Dirk A. Lorenz|arXiv (Cornell University)|Mar 15, 2011

Sparse and Compressive Sensing Techniques参考文献 24被引用 6

一句话总结

本文提出了一种方法，通过利用稀疏正则化中的源条件，构建具有已知精确解的基追踪去噪（BPDN）测试实例。该方法可生成矩阵 $ A $、向量 $ b $ 和参数 $ \tau $，使得指定的稀疏解 $ x^* $ 必然为最优解，其依据条件为 $ A^T y = w $，其中 $ w \in \operatorname{Sign}(x^*) $ 且 $ w \in \operatorname{rg}(A^T) $，从而确保解的理论正确性与计算可验证性。

ABSTRACT

The number of available algorithms for the so-called Basis Pursuit Denoising problem (or the related LASSO-problem) is large and keeps growing. Similarly, the number of experiments to evaluate and compare these algorithms on different instances is growing. In this note, we present a method to produce instances with exact solutions which is based on a simple observation which is related to the so called source condition from sparse regularization.

研究动机与目标

• 为解决基追踪去噪（BPDN）算法评估中生成具有已知精确解的基准实例的挑战。
• 提供一种系统化、可重复的方法，用于构建测试实例 $ (A, b, \lambda) $，使得用户指定的稀疏向量 $ x^* $ 为 $ \ell_1 $-正则化最小二乘问题的精确解。
• 通过依赖稀疏正则化中的源条件，确保理论正确性与计算可行性，利用次梯度包含关系保证最优性。
• 通过提供具有已知真实解的实例，支持BPDN算法的开发与比较，实现对算法性能的精确评估。

提出的方法

• 指定一个具有给定符号模式的稀疏解 $ x^* $：$ \mathcal{A}_+ $（正数）、$ \mathcal{A}_- $（负数）和 $ \mathcal{I} $（零）索引。
• 构造一个向量 $ w \in \mathbb{R}^n $，使得当 $ i \in \mathcal{A}_+ $ 时 $ w_i = 1 $，当 $ i \in \mathcal{A}_- $ 时 $ w_i = -1 $，当 $ i \in \mathcal{I} $ 时 $ |w_i| \leq 1 $，且满足 $ w \in \operatorname{rg}(A^T) $，从而满足源条件。
• 求解 $ A^T y = w $ 以获得 $ y $，仅当 $ w \in \operatorname{rg}(A^T) $ 时可行，从而确保 $ x^* $ 为BPDN问题的最优解。
• 计算右侧项 $ b = \lambda y + A x^* $，使得 $ x^* $ 成为 $ \min_x \frac{1}{2}\|Ax - b\|_2^2 + \lambda\|x\|_1 $ 的唯一最小化解。
• 使用凸集投影（POCS）或二次规划求解 $ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $，其中对 $ \operatorname{rg}(A^T) $ 的投影通过QR分解实现，对 $ \operatorname{Sign}(x^*) $ 的投影通过截断实现。
• 在L1TestPack MATLAB工具箱中实现该求解过程，`construct_bpdn_rhs` 函数可自动为给定的 $ A $、$ x^* $ 和 $ \lambda $ 生成 $ b $。

实验结果

研究问题

• RQ1 如何系统化地生成基追踪去噪的测试实例，使得真实稀疏解可事先已知？
• RQ2 矩阵 $ A $、向量 $ b $ 和参数 $ \lambda $ 需满足何种条件，才能保证指定的稀疏向量 $ x^* $ 是 $ \ell_1 $-正则化最小二乘问题的精确解？
• RQ3 能否在算法上有效利用稀疏正则化中的源条件，以高效且可靠地构造此类实例？
• RQ4 可采用哪些数值方法验证是否存在解 $ y $，使得 $ A^T y \in \operatorname{Sign}(x^*) $ 且 $ A^T y \in \operatorname{rg}(A^T) $？
• RQ5 如何使该构造过程在计算上高效且稳健，以适用于稀疏恢复算法的基准测试？

主要发现

• 当且仅当存在 $ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $ 时，该方法可保证指定的稀疏向量 $ x^* $ 是基追踪去噪问题的精确解，这等价于稀疏正则化中的源条件。
• 当 $ b = \lambda y + A x^* $ 且 $ A^T y = w $，其中 $ w \in \operatorname{Sign}(x^*) $ 且 $ w \in \operatorname{rg}(A^T) $ 时，解 $ x^* $ 是 $ \min_x \frac{1}{2}\|Ax - b\|_2^2 + \lambda\|x\|_1 $ 的最优解。
• 对于任意 $ A $ 和 $ x^* $，此类 $ w $ 的存在性无法保证，因此该方法在构造 $ b $ 前包含可行性验证检查。
• 凸集投影（POCS）方法通过交替投影高效计算 $ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $，对于凸集，收敛性可保证。
• 另一种二次规划方法将可行性问题重述为约束优化问题 $ \min_z \frac{1}{2}\|\bar{P}z - \bar{v}\|^2 $，约束为 $ \|z\|_\infty \leq 1 $，通过验证 $ \bar{P}z = \bar{v} $ 确认解的精确性。
• 该方法已实现于L1TestPack MATLAB工具箱中，`construct_bpdn_rhs` 函数可实现具有已知解的测试实例的自动化生成，适用于算法基准测试。