[论文解读] Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization

Paris V. Giampouras, Athanasios A. Rontogiannis+1 more|arXiv (Cornell University)|Oct 5, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用 3

一句话总结

该论文提出了一种用于低秩矩阵分解的交替迭代重加权最小化算法，通过一种新颖的重加权方案，联合在矩阵因子上诱导列稀疏性，从而促进低秩性。该方法通过剪枝非活跃列，随时间减少计算复杂度，在Movielens 10M等大规模数据集上，实现了矩阵补全、去噪和非负矩阵分解任务中的最先进性能，具有更快的收敛速度和更低的运行时间。

ABSTRACT

Nowadays, the availability of large-scale data in disparate application domains urges the deployment of sophisticated tools for extracting valuable knowledge out of this huge bulk of information. In that vein, low-rank representations (LRRs) which seek low-dimensional embeddings of data have naturally appeared. In an effort to reduce computational complexity and improve estimation performance, LRR has been viewed via a matrix factorization (MF) perspective. Recently, low-rank MF (LRMF) approaches have been proposed for tackling the inherent weakness of MF i.e., the unawareness of the dimension of the low-dimensional space where data reside. Herein, inspired by the merits of iterative reweighted schemes for rank minimization, we come up with a generic low-rank promoting regularization function. Then, focusing on a specific instance of it, we propose a regularizer that imposes column-sparsity jointly on the two matrix factors that result from MF, thus promoting low-rankness on the optimization problem. The problems of denoising, matrix completion and non-negative matrix factorization (NMF) are redefined according to the new LRMF formulation and solved via efficient Newton-type algorithms with proven theoretical guarantees as to their convergence and rates of convergence to stationary points. The effectiveness of the proposed algorithms is verified in diverse simulated and real data experiments.

研究动机与目标

• 解决凸低秩矩阵恢复方法在大规模数据应用中计算复杂度过高的问题。
• 克服现有非凸矩阵分解方法中每轮迭代复杂度固定的问题，尽管优化过程中矩阵秩在降低。
• 在矩阵分解中构建一种灵活的、非凸的低秩促进正则化框架，实现渐进式复杂度降低。
• 将现有低秩MF方法统一并推广为单一基于重加权的公式。
• 在多种问题上验证所提框架的有效性：矩阵补全、去噪和非负矩阵分解。

提出的方法

• 提出一种基于对矩阵因子的Frobenius范数平方和进行迭代重加权最小化的通用非凸正则化函数。
• 通过在两个因子上应用相同的重加权矩阵，提出一种联合列稀疏性诱导正则化器，促进同时列消除。
• 采用块连续上界最小化（BSUM）框架求解由此产生的非凸优化问题。
• 为每个问题实例开发具有收敛性保证的牛顿型算法，收敛至驻点。
• 在迭代过程中动态调整重加权方案，随着优化进行降低有效秩，从而减少每轮迭代的计算成本。
• 将该框架应用于三个核心问题：矩阵补全、去噪和非负矩阵分解（NMF），并提供针对性的算法实现。

实验结果

研究问题

• RQ1 通过动态剪枝非活跃列，迭代重加权矩阵分解框架是否能随时间降低计算复杂度？
• RQ2 在两个矩阵因子上联合施加稀疏性促进正则化，是否能比标准核范数或Schatten-p范数松弛方法获得更优的低秩逼近？
• RQ3 在大规模矩阵补全任务中，所提出的AIRLS-MC算法与softImpute-ALS相比，收敛速度和总运行时间如何？
• RQ4 所提出的AIRLS-NMF算法是否能自动确定信号分解中的正确分量数量，即使在高斯噪声假设下也不会过拟合？
• RQ5 所提框架在多大程度上能泛化并包含现有最先进低秩MF方法？

主要发现

• 在Movielens 10M数据集上，AIRLS-MC相比softImpute-ALS总运行时间减少了72%（54.4分钟 vs. 192.6分钟），尽管迭代次数更多。
• 当开始降低秩后，AIRLS-MC显著减少了每轮迭代的时间，证明了由于列剪枝带来的动态复杂度降低。
• 在音乐信号分解中，AIRLS-NMF正确识别出六个分量（四个钢琴音符和两个伪影），而ARD-NMF过拟合，估计出20个分量。
• 在高斯噪声假设下，所提出的AIRLS-NMF优于ARD-NMF，并与假设噪声统计更准确的ARD-IS-NMF性能相当。
• 所提框架可将基于Schatten-p范数和变分核范数近似的方法作为特例统一包含。
• 框架中使用的牛顿型算法表现出快速收敛性，且理论上保证收敛至驻点。