[论文解读] Sketchy Decisions: Convex Low-Rank Matrix Optimization with Optimal Storage

Alp Yurtsever, Madeleine Udell+2 more|arXiv (Cornell University)|Feb 22, 2017

Sparse and Compressive Sensing Techniques被引用 61

一句话总结

本文提出 SketchyCGM，一种用于凸低秩矩阵优化的存储最优算法，它利用一个小的随机化草图来计算近似最优的低秩解，而不需要存储完整矩阵。

ABSTRACT

This paper concerns a fundamental class of convex matrix optimization problems. It presents the first algorithm that uses optimal storage and provably computes a low-rank approximation of a solution. In particular, when all solutions have low rank, the algorithm converges to a solution. This algorithm, SketchyCGM, modifies a standard convex optimization scheme, the conditional gradient method, to store only a small randomized sketch of the matrix variable. After the optimization terminates, the algorithm extracts a low-rank approximation of the solution from the sketch. In contrast to nonconvex heuristics, the guarantees for SketchyCGM do not rely on statistical models for the problem data. Numerical work demonstrates the benefits of SketchyCGM over heuristics.

研究动机与目标

• 动机并形式化一类存储成为主要瓶颈的凸低秩矩阵优化问题。
• 引入一种存储最优的算法，能够被证明计算出解的低秩近似。
• 开发并整合一种随机草图方法，以避免存储完整的决策变量。
• 提供理论保证和数值证据，表明在类似 CGM 的条件下，该方法收敛到低秩解。

提出的方法

• 通过维护对偶变量 z = A X 和 X 的一个小随机草图，将条件梯度法（CGM）扩展到节省内存的设置。
• 使用从 MaxSingVec 通过 A* (∇f(A X)) 推导的秩-一更新方向来更新 z 和草图，而不形成 X。
• 维持两个草图 Y = X Ω 和 W = Ψ X，其中 Ω 和 Ψ 为随机矩阵，优化后能够重构一个秩-r 的近似。
• 利用 Q = orth(Y) 和 B = (Ψ Q)† W 从草图中重构一个秩-r 矩阵 Ŷ，然后 Ŵ = Q [B]r。
• 给出基于对偶间隙的停止准则，并确保重构的 Ŷ 是接近最优的秩-r 近似。
• 扩展到 PSD（相位检索）问题，在更新步骤（MinEig）中进行调整，并维持存储 Θ(d + r(m+n))。

实验结果

研究问题

• RQ1 是否可以用接近信息论界限 Θ(d + r(m+n)) 的存储来求解凸低秩矩阵优化问题，而不是 Θ(mn)？
• RQ2 在类似 CGM 的更新下，决策变量的随机草图是否能够保证收敛到低秩解？
• RQ3 从草图恢复的秩-r 近似的重构保证是什么，以及它们相对于真实解的比较？
• RQ4 SketchyCGM 框架是否可以扩展到具有可证明保证的 PSD/相位检索问题？
• RQ5 在大规模相位检索和矩阵完成实例上，与传统的凸方法和非凸方法相比，存储高效方法的经验表现如何？

主要发现

• SketchyCGM 实现存储成本 Θ(d + r(m+n))，同时保留 CGM 风格的收敛性保证。
• 重构的秩-r 解 Ŷ 近似 CGM 迭代 X_t，其误差界与最优低秩近似误差相关；若 rank(X_cgm) ≤ r，重构误差在期望意义上消失。
• 对于解集仅包含秩 ≤ r 矩阵的问题，SketchyCGM 的重构在期望意义上收敛到最优解集。
• 该方法提供可证明的收敛性和误差界（定理 2–4），并支持具有类似保证的 PSD/相位检索扩展。
• 经验结果表明，在相位检索成像任务中，SketchyCGM 的表现优于非凸启发式方法，达到更低的内存使用和具有竞争力或更优的重构质量。
• 在大规模傅里叶 Ptychography 实验中，SketchyCGM 产生的相位重构比 Burer–Monteiro 和 Wirtinger Flow 方法产生的伪影更少。
• 该方法展示了内存可扩展性，使凸优化能够处理以前因全存储而不可行的超大矩阵问题。