[论文解读] A Unified Framework for Structured Low-rank Matrix Learning

Pratik Jawanpuria, Bamdev Mishra|arXiv (Cornell University)|Apr 24, 2017

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一种统一的黎曼框架，用于结构化低秩矩阵学习，通过一种新型分解方法将低秩约束与结构约束解耦。该方法在黎曼谱单纯形流形上进行优化，支持高效的共轭梯度和信赖域算法，并在矩阵补全、汉克尔学习和多任务学习任务中表现出色。

ABSTRACT

We consider the problem of learning a low-rank matrix, constrained to lie in a linear subspace, and introduce a novel factorization for modeling such matrices. A salient feature of the proposed factorization scheme is it decouples the low-rank and the structural constraints onto separate factors. We formulate the optimization problem on the Riemannian spectrahedron manifold, where the Riemannian framework allows to develop computationally efficient conjugate gradient and trust-region algorithms. Experiments on problems such as standard/robust/non-negative matrix completion, Hankel matrix learning and multi-task learning demonstrate the efficacy of our approach. A shorter version of this work has been published in ICML'18.

研究动机与目标

• 为解决学习满足特定结构约束（如非负性或汉克尔结构）的低秩矩阵的挑战。
• 开发一种统一的优化框架，同时施加低秩和结构约束，且不损害计算效率。
• 在矩阵补全、多任务学习和系统辨识等结构化低秩矩阵普遍存在的应用中实现有效学习。
• 提供一种基于黎曼谱单纯形流形的几何优化方法，支持可扩展且稳定的算法。

提出的方法

• 提出一种新型矩阵分解方法，将低秩约束与结构约束分离到不同的因子中。
• 在黎曼谱单纯形流形上构建优化问题，该流形自然地编码了约束条件。
• 采用黎曼共轭梯度和信赖域算法，在流形上实现高效且稳定的优化。
• 利用流形的几何结构，在迭代更新过程中保持低秩和结构特性。
• 利用流形结构避免投影步骤，并在整个优化过程中保持可行性。
• 将该框架应用于多种问题，包括鲁棒和非负矩阵补全、汉克尔矩阵学习以及多任务学习。

实验结果

研究问题

• RQ1 如何在矩阵学习中有效解耦低秩与结构约束，以提升优化效率和泛化能力？
• RQ2 能否设计一种统一的黎曼框架，以高效处理多种结构化低秩矩阵问题？
• RQ3 在黎曼谱单纯形流形上，哪些优化算法能为结构化低秩学习提供更优的收敛性和稳定性？
• RQ4 在多种矩阵学习任务中，该方法在准确性和可扩展性方面与现有方法相比如何？
• RQ5 在噪声或数据不完整等复杂场景下，几何化表述在多大程度上提升了性能？

主要发现

• 所提出的黎曼框架通过在整个优化过程中保持结构和低秩约束，在标准和鲁棒的矩阵补全任务中实现了最先进性能。
• 与标准的核范数方法相比，该方法在非凸和非光滑设置下表现出更优的收敛性和稳定性。
• 在汉克尔矩阵学习的实验中，该框架能有效从有限观测中恢复出结构化低秩矩阵。
• 在多任务学习中，该方法能够学习任务间的共享低秩结构，同时尊重各任务的特定约束。
• 采用黎曼信赖域和共轭梯度方法，实现了在谱单纯形流形上的可扩展且高效的优化。