[论文解读] Diagonal and Low-Rank Matrix Decompositions, Correlation Matrices, and Ellipsoid Fitting

James Saunderson, Venkat Chandrasekaran+2 more|Apr 5, 2012

Sparse and Compressive Sensing Techniques参考文献 1被引用 3

一句话总结

本文建立了三个问题之间的等价性：将矩阵分解为对角矩阵与低秩分量、分析相关矩阵的面结构（即椭圆体，elliptope），以及判断一个中心椭球是否通过给定的一组点。研究证明，当子空间一致度（subspace coherence）低于1/2时，最小迹因子分析（MTFA）可精确恢复低秩正定矩阵，即使其与任意对角矩阵相加，从而为高维矩阵分解提供了可证明的恢复条件。

ABSTRACT

In this paper we establish links between, and new results for, three problems that are not usually considered together. The first is a matrix decomposition problem that arises in areas such as statistical modeling and signal processing: given a matrix $X$ formed as the sum of an unknown diagonal matrix and an unknown low rank positive semidefinite matrix, decompose $X$ into these constituents. The second problem we consider is to determine the facial structure of the set of correlation matrices, a convex set also known as the elliptope. This convex body, and particularly its facial structure, plays a role in applications from combinatorial optimization to mathematical finance. The third problem is a basic geometric question: given points $v_1,v_2,...,v_n\in \R^k$ (where $n > k$) determine whether there is a centered ellipsoid passing \emph{exactly} through all of the points. We show that in a precise sense these three problems are equivalent. Furthermore we establish a simple sufficient condition on a subspace $U$ that ensures any positive semidefinite matrix $L$ with column space $U$ can be recovered from $D+L$ for any diagonal matrix $D$ using a convex optimization-based heuristic known as minimum trace factor analysis. This result leads to a new understanding of the structure of rank-deficient correlation matrices and a simple condition on a set of points that ensures there is a centered ellipsoid passing through them.

研究动机与目标

• 建立矩阵分解为对角与低秩分量、椭圆体（相关矩阵集合）的面结构分析，以及通过给定点拟合椭球之间的理论等价性。
• 为矩阵分解中的最小迹因子分析（MTFA）启发式方法提供可证明的恢复条件。
• 刻画在R^k中（n > k）中心椭球能精确通过给定一组点的条件。
• 基于子空间一致度推导出通过凸优化精确恢复低秩矩阵的充分条件。
• 将椭圆体的面结构与椭球拟合及矩阵分解的几何问题联系起来。

提出的方法

• 将矩阵分解问题表述为寻找一个低秩正定矩阵L与对角矩阵D，使得X = D + L。
• 利用半定规划对偶性，将MTFA启发式方法与椭圆体的面结构联系起来。
• 引入子空间一致度μ(U)作为决定恢复可行性的关键几何量。
• 应用Walters定理于具有非负矩阵的线性系统，证明由对偶问题导出的系统存在非负解。
• 证明若μ(U) < 1/2，则MTFA可对任意对角矩阵D精确恢复L，即从X = D + L中恢复L。
• 利用贝塔分布尾部界限，表明当r > 3/ε²时，随机r维子空间（r = (1/2 - ε)n）以高概率满足μ(U) < 1/2。

实验结果

研究问题

• RQ1 在何种条件下，可通过凸优化方法精确将矩阵X = D + L分解为对角矩阵D与低秩正定矩阵L？
• RQ2 椭圆体的面结构与存在一个中心椭球通过给定点集之间存在何种关系？
• RQ3 最小迹因子分析（MTFA）启发式方法在何种情况下可保证从X = D + L中精确恢复低秩分量L？
• RQ4 L的列空间的一致度如何影响通过MTFA恢复L的可行性？
• RQ5 R^k中一组点的何种几何条件可确保存在一个中心椭球通过所有这些点？

主要发现

• 若低秩矩阵L的列空间的子空间一致度μ(U)小于1/2，则最小迹因子分析（MTFA）可对任意对角矩阵D精确恢复L，即从X = D + L中恢复L。
• 在R^k中（n > k）通过n个点的椭球拟合问题，与矩阵分解问题及椭圆体面结构问题等价。
• 对MTFA问题对偶导出的线性系统存在非负解的充要条件为μ(U) < 1/2。
• 对于R^n中的随机r维子空间（r = (1/2 - ε)n且r > 3/ε²），μ(U) ≥ 1/2的概率随n指数衰减。
• 椭圆体的面结构与通过给定点集实现椭球的几何可行性直接相关。
• 本文为高维因子分析中的精确恢复提供了新的、简洁的充分条件，优于以往的启发式或代数方法。