[论文解读] Convex relaxations of structured matrix factorizations

Francis Bach|arXiv (Cornell University)|Sep 12, 2013

Sparse and Compressive Sensing Techniques参考文献 49被引用 28

一句话总结

本文通过将问题表述为泛函及其极的形式，提出了一种用于结构化矩阵分解的凸松弛框架，实现了通过半定规划和迭代条件梯度方法的多项式时间算法，并具备近似保证。关键贡献是提出了一种新型的迭代基追踪算法，在存在不精确预言机和乘法近似误差的情况下仍具有收敛性保证。

ABSTRACT

We consider the factorization of a rectangular matrix $X $ into a positive linear combination of rank-one factors of the form $u v^ op$, where $u$ and $v$ belongs to certain sets $\mathcal{U}$ and $\mathcal{V}$, that may encode specific structures regarding the factors, such as positivity or sparsity. In this paper, we show that computing the optimal decomposition is equivalent to computing a certain gauge function of $X$ and we provide a detailed analysis of these gauge functions and their polars. Since these gauge functions are typically hard to compute, we present semi-definite relaxations and several algorithms that may recover approximate decompositions with approximation guarantees. We illustrate our results with simulations on finding decompositions with elements in $\{0,1\}$. As side contributions, we present a detailed analysis of variational quadratic representations of norms as well as a new iterative basis pursuit algorithm that can deal with inexact first-order oracles.

研究动机与目标

• 解决结构化矩阵分解中的非凸性问题以及缺乏收敛性保证的问题，例如非负矩阵分解或稀疏矩阵分解。
• 将各种结构化分解问题（如NMF、稀疏PCA）统一到基于泛函的共同凸框架下。
• 为泛函及其极提供可计算的半定规划松弛，具备常数因子近似保证。
• 设计一种迭代条件梯度算法，可处理不精确的一阶预言机，并在温和假设下保证线性收敛。
• 分析范数和泛函的变分二次表示，包括对角形式和旋转不变形式的条件。

提出的方法

• 将结构化矩阵分解表述为在秩一因子的凸集上最小化泛函，其中泛函衡量表示矩阵所需的最小正组合。
• 利用泛函的极来推导对偶形式和松弛技术，实现在分解空间上的凸优化。
• 引入半定规划松弛以计算泛函及其极，具备常数因子近似保证，尤其在旋转不变和对角情况下表现良好。
• 设计一种新型的迭代基追踪算法，可处理不精确预言机，允许子梯度计算中存在乘法误差，同时保持收敛性。
• 建立泛函的变分表示为二次形式的极小值和极大值，支持基于对偶的分析与算法设计。
• 通过最小和最大二次表示在泛函的下界和上界之间建立对偶关系，给出对角和旋转不变情况下的条件。

实验结果

研究问题

• RQ1 具有非凸约束（如非负性、稀疏性、离散性）的结构化矩阵分解问题能否通过泛函重新表述为凸优化问题？
• RQ2 用于计算结构化矩阵分解中泛函的半定规划松弛具有怎样的近似保证？
• RQ3 如何将迭代条件梯度方法改进以处理不精确预言机，同时保持收敛速率？
• RQ4 在何种条件下，泛函的变分二次表示可呈现对角或旋转不变形式？
• RQ5 与交替最小化相比，使用凸松弛进行结构化矩阵分解在统计性能和计算效率之间存在怎样的权衡？

主要发现

• 最优的结构化矩阵分解等价于计算矩阵的泛函，其极对应于对偶问题。
• 半定规划松弛为泛函及其极提供了常数因子近似保证，尤其在旋转不变和对角情况下表现良好。
• 所提出的迭代条件梯度算法即使在极泛函以乘法近似误差计算时，仍能实现线性收敛，扩展了以往仅限于加法误差的研究。
• 该框架支持惩罚基追踪问题，并可实现具有近似保证的显式分解恢复。
• 建立了范数和泛函的新型变分表示，即作为二次形式的极小值和极大值，并给出了对角和旋转不变形式的必要和充分条件。
• 对于具有i.i.d.高斯行的随机矩阵，其在随机方向上的平方投影最大值的期望被界定为$\frac{4\log r + 16}{n}$，支持收敛性的理论界限。