[论文解读] Guaranteed Minimum Rank Approximation from Linear Observations by Nuclear Norm Minimization with an Ellipsoidal Constraint

Kiryung Lee, Yoram Bresler|ArXiv.org|Mar 27, 2009

Sparse and Compressive Sensing Techniques参考文献 6被引用 37

一句话总结

本文首次为带有椭球约束的核范数最小化提供了理论性能保证，证明当线性算子满足秩受限等距性质时，该方法能以有界误差恢复低秩矩阵。误差界取决于真实矩阵的最佳低秩逼近和噪声水平，将先前从仿射约束扩展到椭球约束的结果。

ABSTRACT

The rank minimization problem is to find the lowest-rank matrix in a given set. Nuclear norm minimization has been proposed as an convex relaxation of rank minimization. Recht, Fazel, and Parrilo have shown that nuclear norm minimization subject to an affine constraint is equivalent to rank minimization under a certain condition given in terms of the rank-restricted isometry property. However, in the presence of measurement noise, or with only approximately low rank generative model, the appropriate constraint set is an ellipsoid rather than an affine space. There exist polynomial-time algorithms to solve the nuclear norm minimization with an ellipsoidal constraint, but no performance guarantee has been shown for these algorithms. In this paper, we derive such an explicit performance guarantee, bounding the error in the approximate solution provided by nuclear norm minimization with an ellipsoidal constraint.

研究动机与目标

• 解决核范数最小化在椭球约束下缺乏理论性能保证的问题，此类约束用于建模噪声或近似低秩矩阵恢复。
• 将 Recht、Fazel 和 Parrilo 的框架从仿射约束扩展到椭球约束，类比于压缩感知中从精确测量到噪声测量的扩展。
• 为在椭球约束下通过核范数最小化获得的近似解提供严格的误差界。
• 建立在测量存在噪声或真实矩阵并非精确低秩时，解仍接近真实低秩矩阵的条件。

提出的方法

• 将低秩矩阵恢复问题表述为在椭球约束 ∥AX − b∥₂ ≤ ε 下的核范数最小化，以建模测量噪声或近似低秩结构。
• 利用线性算子 A 的秩受限等距性质（RIP）来限制解与真实矩阵之间的偏差。
• 基于奇异子空间将误差矩阵 E = X⋆ − X 分解为正交分量 P1、P2、P3、P4、Q1 和 Qk（k ≥ 2）。
• 应用矩阵范数不等式和秩的次可加性，以限制误差分量的核范数，特别是 ∥P4E∥∗ 和 ∥QkE∥F。
• 通过结合 RIP 与测量误差的能量界及最佳低秩逼近的界，推导出一个关键不等式，最终得出误差界。
• 利用辅助引理（例如，在 x² + y² = 1 条件下最大化 x + αy）来紧致地界定以等距常数 δ₃ᵣ(A) 表示的误差。

实验结果

研究问题

• RQ1 带有椭球约束的核范数最小化能否提供与仿射约束下可比的性能保证？
• RQ2 恢复的低秩矩阵中的误差如何依赖于噪声水平和真实矩阵的最佳低秩逼近？
• RQ3 线性算子 A 需满足何种条件，才能在噪声或近似观测下稳定恢复低秩矩阵？
• RQ4 误差界能否如压缩感知中那样，表示为最佳逼近误差与噪声能量的加权和？

主要发现

• 本文为带有椭球约束的核范数最小化建立了性能保证，表明解的误差被限制为噪声水平和最佳低秩逼近误差的函数。
• 误差界以秩受限等距常数 δ₃ᵣ(A) 表示，当 δ₃ᵣ(A) < 1/(1 + 4/√3) ≈ 0.356 时，可确保稳定性。
• 最终误差界为 ∥E∥F ≤ (1 − γρ)⁻¹[(1 + γ)αε + 2γ(1 + ρ)∥X − Xᵣ∥F]，其中 α 和 ρ 依赖于 δ₃ᵣ(A)，且 γ = 2√2/√3。
• 该界明确分离了测量噪声（ε）和来自最佳 r-秩矩阵 Xᵣ 的逼近误差的贡献。
• 结果证实，带有椭球约束的核范数最小化是近似低秩矩阵恢复的稳定且可靠方法。
• 该分析扩展了低秩矩阵恢复与压缩感知之间的类比，为 Candes 的噪声 ℓ₁ 最小化保证提供了对应结果。