[论文解读] A Non-convex One-Pass Framework for Generalized Factorization Machine and Rank-One Matrix Sensing

Ming Lin, Jieping Ye|arXiv (Cornell University)|Aug 21, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用 14

一句话总结

该论文提出了一种用于广义因子分解机（gFM）和秩一矩阵感知的非凸单遍算法，通过引入条件独立的RIP（CI-RIP）条件，实现线性收敛，内存复杂度为$O(kd)$，实例复杂度为$O(k^3d\log(1/\epsilon))$。该方法仅使用矩阵-向量乘积即可实现$O(\epsilon)$的恢复误差，避免了交替最小化或步长调优。

ABSTRACT

We develop an efficient alternating framework for learning a generalized version of Factorization Machine (gFM) on steaming data with provable guarantees. When the instances are sampled from $d$ dimensional random Gaussian vectors and the target second order coefficient matrix in gFM is of rank $k$, our algorithm converges linearly, achieves $O(ε)$ recovery error after retrieving $O(k^{3}d\log(1/ε))$ training instances, consumes $O(kd)$ memory in one-pass of dataset and only requires matrix-vector product operations in each iteration. The key ingredient of our framework is a construction of an estimation sequence endowed with a so-called Conditionally Independent RIP condition (CI-RIP). As special cases of gFM, our framework can be applied to symmetric or asymmetric rank-one matrix sensing problems, such as inductive matrix completion and phase retrieval.

研究动机与目标

• 为广义因子分解机（gFM）在流式数据上的低内存、单遍访问场景下，开发一种可证明收敛且高效的求解器。
• 解决现有FM求解器在理论保证方面的不足，特别是针对对称秩一矩阵感知算子的情形。
• 通过建立条件独立RIP（CI-RIP）条件，将gFM与秩一矩阵感知统一于同一框架下。
• 消除对交替最小化或步长选择的需求，实现仅依赖矩阵-向量乘积的简化实现。

提出的方法

• 该框架提出了一种新颖的条件独立RIP（CI-RIP）条件，用于刻画gFM中感知算子的特性，确保收敛所需的有利几何性质。
• 通过使用带噪声的幂迭代构造估计序列，实现在无需显式交替最小化的情况下稳定恢复低秩分量。
• 该算法在数据上仅进行一次遍历，通过使用矩阵-向量乘积增量式更新估计，仅维持$O(kd)$的内存。
• 通过涉及谱间隙和噪声项的递归不等式来界定恢复误差，收敛性由特征值比$\sigma_{k+1}^*/\sigma_k^*$控制。
• 通过依赖CI-RIP条件的内在结构和幂迭代动力学，避免了步长调优。
• 理论分析表明，在较弱条件下可实现线性收敛，误差界取决于噪声水平和谱衰减特性。

实验结果

研究问题

• RQ1 能否设计一种可证明收敛、无需交替最小化或步长调优的gFM单遍算法？
• RQ2 gFM中对称秩一矩阵感知算子是否满足一种松弛的RIP条件，从而实现高效恢复？
• RQ3 在流式条件下，实现$O(\epsilon)$恢复误差所需的最小样本复杂度是多少？
• RQ4 该算法如何在仅维持$O(kd)$内存的同时，实现在流式数据上的线性收敛？
• RQ5 特征值间隙$\sigma_{k+1}^*/\sigma_k^*$在控制恢复过程收敛速率方面起什么作用？

主要发现

• 该算法在仅获取$O(k^3d\log(1/\epsilon))$个训练实例后，即可实现$O(\epsilon)$的恢复误差，与全秩情况下的信息论下界一致。
• 在CI-RIP条件下可保证线性收敛，收敛速率由$q = (1 + \rho)/2$控制，其中$\rho = 2\sigma_{k+1}^*/(\sigma_k^* + \sigma_{k+1}^*)$。
• 该方法仅消耗$O(kd)$内存，并以单遍方式处理数据，适用于大规模流式应用。
• 该框架适用于对称与非对称秩一矩阵感知，包括归纳矩阵补全和相位恢复。
• 在噪声环境下理论保证依然成立，恢复误差被界定为$O(r/(1 - q))$，其中$r = C\sigma_{k+1}^*d^2/\sqrt{n}$代表谱扰动和噪声扰动。
• 该算法避免了交替最小化和步长选择，转而依赖幂迭代和CI-RIP以确保稳定高效的收敛。