[论文解读] Robust Matrix Decomposition with Outliers

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Nov 5, 2010

Sparse and Compressive Sensing Techniques参考文献 11被引用 27

一句话总结

该论文提出了一种鲁棒的矩阵分解方法，通过混合使用 $γ_1$ 范数与迹范数最小化，即使在异常值非随机分布的情况下，也能将矩阵分解为低秩与稀疏分量。该方法建立了强于以往工作的恢复保证，允许高达常数比例的条目被破坏，并且在小扰动下仍保持鲁棒性，无需依赖异常值模式的随机性假设。

ABSTRACT

Suppose a given observation matrix can be decomposed as the sum of a low-rank matrix and a sparse matrix (outliers), and the goal is to recover these individual components from the observed sum. Such additive decompositions have applications in a variety of numerical problems including system identification, latent variable graphical modeling, and principal components analysis. We study conditions under which recovering such a decomposition is possible via a combination of $\ell_1$ norm and trace norm minimization. We are specifically interested in the question of how many outliers are allowed so that convex programming can still achieve accurate recovery, and we obtain stronger recovery guarantees than previous studies. Moreover, we do not assume that the spatial pattern of outliers is random, which stands in contrast to related analyses under such assumptions via matrix completion.

研究动机与目标

• 开发一种凸优化框架，能够从被污染的观测矩阵中可靠地恢复低秩与稀疏矩阵分量。
• 在确定性、非随机的异常值模式下建立恢复保证，避免对稀疏结构的随机性假设。
• 量化在通过凸松弛实现准确恢复的前提下，可容忍的最大异常值数量。
• 通过允许在较弱结构假设下，大矩阵中高达常数比例条目被破坏，改进先前工作。
• 展示恢复方法在观测矩阵小扰动下的鲁棒性。

提出的方法

• 采用凸优化公式，最小化稀疏分量的逐元素 $\ell_1$-范数与低秩分量的迹范数之和。
• 应用带有Frobenius范数保真项的正则化公式，以处理噪声观测并提高稳定性。
• 使用投影算子 $\mathcal{P}_{\bar{\Omega}}$、$\mathcal{P}_{\bar{T}}$ 及其正交补，分解误差与解分量。
• 引入对偶范数分析与通过 $\alpha(\rho)$、$\beta(\rho)$ 和 $\|\cdot\|_{\flat(\rho)}$ 的算子范数界，以控制恢复误差。
• 利用引理5、引理10与引理15推导误差界，将解的偏离与扰动大小及结构非一致性关联起来。
• 通过涉及迹范数次微分与 $\ell_1$-范数对偶范数的对偶性论证建立恢复。

实验结果

研究问题

• RQ1 在仍能实现低秩与稀疏分量精确恢复的前提下，可容忍的最大异常值数量（以条目数与分布形式）是多少？
• RQ2 是否可以在不假设异常值呈随机或i.i.d.模式的情况下实现鲁棒矩阵分解？
• RQ3 与先前方法相比，该方法在可处理的被破坏条目比例方面有何改进？
• RQ4 在何种条件下，秩与稀疏性最小化问题的凸松弛能产生真实分解？
• RQ5 该恢复方法对观测矩阵的小扰动有多鲁棒？

主要发现

• 当低秩分量 $X_L$ 的奇异向量非稀疏且秩 $r \ll \min(m,n)$ 时，该方法允许稀疏分量 $X_S$ 中存在高达 $\Omega(mn)$ 个非零条目。
• 恢复对观测矩阵 $Y$ 的小扰动具有鲁棒性，误差界与 $\|E\|_{\text{vec}(\infty)}$ 及 $\|\mathcal{P}_{\bar{\Omega}} \circ \mathcal{P}_{\bar{T}^\perp}(E)\|_{\text{vec}(\infty)}$ 成比例。
• 在确定性结构条件下实现精确恢复：$X_S$ 在任一行或一列中不能过于密集，且 $X_L$ 的奇异向量不能过于稀疏。
• 低秩分量在 $\|\cdot\|_{\flat(\rho)}$ 范数下的误差界显著优于迹范数，表明稳定性得到提升。
• 该分析改进了Chandrasekaran等人（2009）的工作，消除了对 $X_S$ 中非零条目比例随矩阵规模趋于零的要求。
• 该方法无需对 $X_S$ 的支持施加随机假设，使其适用于异常值具有结构性偏差的真实世界场景。