[论文解读] A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank

Hongyang Zhang, Zhouchen Lin+1 more|arXiv (Cornell University)|Apr 23, 2013

Sparse and Compressive Sensing Techniques参考文献 19被引用 9

一句话总结

本文提出一个理论反例，表明在低秩矩阵恢复问题中，即使对于噪声为零的简单模型（如无噪声潜在低秩表示，LatLRR）使用核范数作为秩的凸近似也并非总是有效。作者证明了LatLRR核范数最小化公式的解不唯一，从而质疑了现有文献中假设解唯一性的LatLRR结果的可靠性。

ABSTRACT

Rank minimization has attracted a lot of attention due to its robustness in data recovery. To overcome the computational difficulty, rank is often replaced with nuclear norm. For several rank minimization problems, such a replacement has been theoretically proven to be valid, i.e., the solution to nuclear norm minimization problem is also the solution to rank minimization problem. Although it is easy to believe that such a replacement may not always be valid, no concrete example has ever been found. We argue that such a validity checking cannot be done by numerical computation and show, by analyzing the noiseless latent low rank representation (LatLRR) model, that even for very simple rank minimization problems the validity may still break down. As a by-product, we find that the solution to the nuclear norm minimization formulation of LatLRR is non-unique. Hence the results of LatLRR reported in the literature may be questionable.

研究动机与目标

• 挑战广泛存在的假设，即核范数最小化在低秩矩阵恢复中能可靠地近似秩最小化。
• 证明即使对于简单的无噪声秩最小化问题（如LatLRR），核范数近似也可能无法产生有效解。
• 揭示LatLRR核范数最小化公式的解不唯一，从而质疑先前LatLRR研究结果的可靠性。
• 厘清代换有效性问题（解等价性）与精确恢复问题（真实解恢复）之间的区别，表明即使后者成立，前者也未必成立。

提出的方法

• 将无噪声潜在低秩表示（LatLRR）模型作为简单秩最小化问题的典型示例进行分析。
• 通过构造一个包含多个不同最小化器的可行解集，证明LatLRR核范数最小化公式的解不唯一。
• 利用矩阵分解和奇异值分析，表明LatLRR的核范数最小化问题无法强制解的唯一性。
• 应用理论工具，包括矩阵Schur补、半正定性及迹不等式，推导最优性的必要条件。
• 证明即使核范数解满足约束条件，也可能不对应于真正的秩最小解，原因在于解的非唯一性。
• 比较原始LRR与LatLRR的解集，表明LatLRR的解集在秩最小化和核范数最小化上严格包含LRR的解集，揭示了根本性的结构差异。

实验结果

研究问题

• RQ1 在低秩矩阵恢复问题中，核范数是否总是秩函数的可靠凸近似？
• RQ2 能否构造一个反例，使得在简单无噪声设置下，核范数最小化无法产生同时最小化秩的解？
• RQ3 LatLRR核范数最小化公式的解是否如文献中普遍假设的那样保持唯一？
• RQ4 在秩最小化与核范数最小化方面，原始LRR与LatLRR的解集之间存在何种关系？
• RQ5 LatLRR中解的非唯一性是否可能使依赖于唯一解选择的先前经验结果失效？

主要发现

• 本文构造了一个反例，表明即使在简单的无噪声LatLRR模型中，核范数最小化也未必产生同时最小化秩的解。
• LatLRR核范数最小化公式的解不唯一，这削弱了假设解唯一的文献中报告结果的有效性。
• 作者证明，在某些条件下，LatLRR的核范数最小化问题存在多个具有相同目标值的可行解，违反了解的唯一性。
• 非唯一性源于优化问题的结构，其中对数据矩阵行空间的多个投影可产生相同的核范数值。
• 在秩最小化与核范数最小化方面，LatLRR的解集严格包含LRR的解集，表明LatLRR是LRR的合理扩展。
• 结果表明，即使在简单无噪声问题中，也不能假设核范数作为秩的近似有效，而必须逐案验证。