[论文解读] Approximation Theory of Matrix Rank Minimization and Its Application to Quadratic Equations

Yun-Bin Zhao|arXiv (Cornell University)|Oct 5, 2010

Sparse and Compressive Sensing Techniques参考文献 22被引用 6

一句话总结

本文提出了一种用于矩阵秩最小化的连续逼近框架，采用参数化函数 φε(X)，证明了通过结构化的半定规划（SDP）可实现对秩最小化问题的任意精度逼近。关键结果表明，当可行集包含具有最小Frobenius范数的最小秩解时，随着逼近参数 ε → 0，该逼近收敛于真实解，从而实现可计算的SDP解法，并为二次方程组仅有零解提供了新的充分条件。

ABSTRACT

Matrix rank minimization problems are gaining a plenty of recent attention in both mathematical and engineering fields. This class of problems, arising in various and across-discipline applications, is known to be NP-hard in general. In this paper, we aim at providing an approximation theory for the rank minimization problem, and prove that a rank minimization problem can be approximated to any level of accuracy via continuous optimization (especially, linear and nonlinear semidefinite programming) problems. One of the main results in this paper shows that if the feasible set of the problem has a minimum rank element with the least F-norm (i.e., Frobenius norm), then the solution of the approximation problem converges to the minimum rank solution of the original problem as the approximation parameter tends to zero. The tractability under certain conditions and convex relaxation of the approximation problem are also discussed. The methodology and results in this paper provide a new theoretical basis for the development of some efficient computational methods for solving rank minimization problems. An immediate application of this theory to the system of quadratic equations is presented in this paper. It turns out that the condition for such a system without a nonzero solution can be characterized by a rank minimization problem, and thus the proposed approximation theory can be used to establish some sufficient conditions for the system to possess only zero solution.

研究动机与目标

• 开发一种针对NP难的矩阵秩最小化问题的连续逼近理论，该问题本质上是非凸且不连续的。
• 建立秩最小化问题可由凸或结构化非线性半定规划（SDP）任意精确逼近的条件。
• 为通过可计算优化求解秩最小化问题提供理论基础，尤其当最小秩解具有最小Frobenius范数时。
• 将该逼近框架应用于刻画二次方程组仅存在平凡解的条件。
• 利用基于SDP的逼近方法，推导二次型系统中零解唯一性的新充分条件。

提出的方法

• 引入一个连续逼近函数 φε(X) = tr(Φ(X)) + (1/ε)tr(Q(X)) 来逼近不连续的 rank(X)，其中 Φ 和 Q 是由 X 的奇异值分解导出的矩阵函数。
• 证明当 ε → 0 时，φε(X) 收敛于 rank(X)，且对特定 ε 值可精确恢复 X 的秩。
• 将秩最小化问题表述为一个非线性SDP逼近：在定义可行集 C 的约束下最小化 φε(X)。
• 当可行集包含具有最小Frobenius范数的最小秩元素时，证明逼近问题的解收敛于真实最小秩解。
• 构建一个双层SDP公式（28），以处理线性约束，并在可行集有界时确保可计算性。
• 将逼近模型应用于二次方程组 xᵀAᵢx = 0，通过将其重述为对称矩阵上的秩最小化问题，进而通过SDP可行性推导出充分条件。

实验结果

研究问题

• RQ1 在何种条件下，矩阵秩最小化问题可被连续优化问题任意精确逼近？
• RQ2 所提出的逼近函数 φε(X) 与真实秩 rank(X) 的关系如何？能否在特定 ε 下实现精确恢复？
• RQ3 逼近问题的解在何时收敛于真实最小秩解？
• RQ4 该逼近框架能否用于推导二次方程组仅有零解的充分条件？
• RQ5 新导出的充分条件与已有结果（如 m=2 时的 μ₁A₁ + μ₂A₂ ≻ 0）之间有何关系？

主要发现

• 当 ε → 0 时，逼近函数 φε(X) 收敛于 rank(X)，且对特定 ε 值可精确恢复 X 的秩。
• 若可行集 C 包含具有最小Frobenius范数的最小秩解，则逼近问题的解在 ε → 0 时收敛于该最小秩解。
• 在可行集有界时，秩最小化问题可通过结构化的非线性半定规划（SDP）以任意期望精度逼近，且计算上是可处理的。
• 当可行集包含具有最小Frobenius范数的最小秩元素时，该逼近模型（28）在定位最小秩解方面是有效的。
• 该理论导出了系统 xᵀAᵢx = 0 (i=1,…,m) 仅有平凡解的新充分条件，其表达为一个SDP可行性问题。
• 所导出的充分条件（如推论4.4中的条件）强于但与已知结果一致，例如 m=2 且 n≥3 时的 μ₁A₁ + μ₂A₂ ≻ 0，且可通过SDP求解器验证。