[论文解读] Low-Rank Matrix Completion using Nuclear Norm with Facial Reduction

Shimeng Huang, Henry Wolkowicz|arXiv (Cornell University)|Aug 15, 2016

Sparse and Compressive Sensing Techniques参考文献 6被引用 5

一句话总结

本文提出了一种面部削减方法，通过在最优解处利用隐藏的低秩结构，加速核范数最小化在低秩矩阵补全中的应用。通过识别数据图中的团并计算暴露向量，显著减小了半定规划（SDP）的规模，从而实现更快、更精确的求解——尤其在噪声环境和大规模场景下表现优异。

ABSTRACT

Minimization of the nuclear norm is often used as a surrogate, convex relaxation, for finding the minimum rank completion (recovery) of a partial matrix. The minimum nuclear norm problem can be solved as a trace minimization semidefinite programming problem, (SDP). The SDP and its dual are regular in the sense that they both satisfy strict feasibility. Interior point algorithms are the current methods of choice for these problems. This means that it is difficult to solve large scale problems and difficult to get high accuracy solutions. In this paper we take advantage of the structure at optimality for the minimum nuclear norm problem. We show that even though strict feasibility holds, the facial reduction framework can be successfully applied to obtain a proper face that contains the optimal set, and thus can dramatically reduce the size of the final nuclear norm problem while guaranteeing a low-rank solution. We include numerical tests for both exact and noisy cases. In all cases we assume that knowledge of a target rank is available.

研究动机与目标

• 通过核范数最小化的凸松弛方法，解决低秩矩阵补全（LRMC）的计算不可行性问题。
• 通过利用最优解集中的结构退化性，克服标准内点法在大规模LRMC中的低效问题。
• 开发一种面部削减框架，即使在严格可行的情况下，也能识别出包含最优解的低维面。
• 通过维数约简和精炼技术，实现对噪声和大规模矩阵补全问题的高效求解。
• 通过结合面部削减与参数化精炼及随机投影技术，为精确和噪声恢复提供一种稳健方法，适用于过定问题。

提出的方法

• 使用观测矩阵条目在加权无向图 $G=(V,E,w)$ 中的图表示，识别潜在结构依赖性的团。
• 计算团权重 $u_X^i$ 和暴露向量权重 $w_X^i$，以确定面部削减子空间，利用最优解位于低维面的事实。
• 对核范数最小化的半定规划（SDP）形式应用面部削减，降低变量维度，同时保持最优性。
• 对于噪声数据，将问题转化为半定最小二乘问题，并使用随机投影矩阵减小规模，避免约束删除。
• 在面部削减后，通过带对偶乘子的参数化精炼步骤提升解的精度，尤其在噪声环境下表现更优。
• 借鉴文献[3]中的暴露向量方法，系统性地识别出包含最优解的最小面，即使在严格可行条件下亦可实现。

实验结果

研究问题

• RQ1 尽管存在严格可行性，面部削减是否仍能有效应用于核范数最小化在低秩矩阵补全中的问题？
• RQ2 如何利用观测矩阵图中的团结构，识别出包含最优解的低维面？
• RQ3 面部削减对精确和噪声矩阵补全问题的计算效率和解的精度有何影响？
• RQ4 与现有方法相比，该方法在可扩展性和抗噪声能力方面表现如何？
• RQ5 该面部削减框架能否扩展至处理部分或数据不足的大规模问题？

主要发现

• 面部削减成功识别出包含最优解的低维面，即使在严格可行条件下，也显著减小了SDP变量规模。
• 在无噪声情况下，面部削减消除了冗余约束，使约简后的问题可直接求解，且精度和速度均很高。
• 对于噪声数据，面部削减将问题转化为过定的半定最小二乘问题，随后通过随机投影矩阵高效约简。
• 数值结果表明，该方法具有高精度：当 $m \times n = 700 \times 1000$，$r=3$，噪声水平为 $10^{-3}$ 时，精炼后相对误差降至 $2.43 \times 10^{-3}$。
• 该方法显著缩短了解决时间并提升了鲁棒性，在大规模问题如 $900 \times 2000$ 且 $r=3$ 的情况下，精炼步骤性能达到亚100毫秒。
• 当团结构不足时，方法仍能实现部分补全，表明数据不足而非方法失效，从而提供诊断性洞察。