[论文解读] Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization

Benjamin Recht, Maryam Fazel+1 more|Jun 28, 2007

Sparse and Compressive Sensing Techniques被引用 54

一句话总结

本文证明，在线性变换满足限制等距性质（RIP）的条件下，通过最小化核范数可精确恢复线性矩阵方程组的最小秩解。关键贡献在于，理论上证明了在RIP条件下，核范数最小化可解决NP难的仿射秩最小化问题，将压缩感知原理扩展至低秩矩阵恢复，并在足够余维数的随机矩阵集合中以高概率实现。

ABSTRACT

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard. In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability. The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization.

研究动机与目标

• 为核范数最小化可恢复仿射矩阵方程的最小秩解提供理论保证。
• 通过引入受限等距性质（RIP）的矩阵类比，将压缩感知框架从稀疏向量扩展至低秩矩阵。
• 刻画在其中RIP以高概率成立的随机矩阵集合，从而实现概率恢复保证。
• 建立向量稀疏性与矩阵秩最小化之间的正式字典，突出优化技术中的类比关系。
• 展示核范数最小化作为非凸秩最小化问题的凸松弛方法的有效性。

提出的方法

• 为线性矩阵变换引入受限等距性质（RIP），确保变换保持低秩矩阵的结构。
• 证明若RIP成立，则在仿射可行集上对核范数的最小化可产生唯一的最小秩解。
• 分析RIP以高概率成立的随机矩阵集合，要求对于秩为r的m×n矩阵，余维数为Ω(r(m+n)log(mn))。
• 利用压缩感知技术，包括随机矩阵的概率分析和浓度不等式，推导恢复保证。
• 建立ℓ₁最小化（用于稀疏向量）与核范数最小化（用于低秩矩阵）之间的正式类比，包括两种框架之间的概念字典。
• 提出半定规划和次梯度方法等算法方法，以在实践中求解核范数松弛问题。

实验结果

研究问题

• RQ1 在何种条件下，核范数最小化可精确恢复线性矩阵方程组的最小秩解？
• RQ2 矩阵的受限等距性质（RIP）能否类比压缩感知中向量情形的定义，且是否能保证精确恢复？
• RQ3 哪些随机矩阵集合满足RIP以高概率成立，此类恢复所需的余维数是多少？
• RQ4 核范数最小化的理论保证与压缩感知中ℓ₁最小化的保证有何平行之处？
• RQ5 在RIP存在下，秩最小化与核范数最小化之间等价性的几何与代数基础是什么？

主要发现

• 当线性变换满足受限等距性质（RIP）时，线性矩阵方程组的最小秩解可通过求解凸核范数最小化问题精确恢复。
• 对于余维数为Ω(r(m+n)log(mn))的随机矩阵集合，RIP以高概率成立，从而可实现低秩矩阵的高概率恢复。
• 核范数启发式方法是非凸秩最小化问题的凸松弛，且在RIP条件下可保证获得精确的最小秩解。
• 理论框架与压缩感知平行，其中核范数作为矩阵秩的凸代理，类似于ℓ₁范数作为向量基数的代理。
• 结果将压缩感知范式推广至低秩矩阵恢复，为系统辨识、协同过滤和欧几里得嵌入等应用建立了稳健基础。
• 数值示例表明，核范数最小化在从不完整或含噪声观测中恢复低秩矩阵方面具有显著有效性。