[论文解读] Block-Randomized Stochastic Proximal Gradient for Low-Rank Tensor Factorization

Xiao Fu, Shahana Ibrahim+3 more|arXiv (Cornell University)|Jan 16, 2019

Tensor decomposition and applications参考文献 65被引用 5

一句话总结

本文提出了一种用于密集张量大规模低秩张量分解的双重随机化随机近端梯度框架，结合了随机化块坐标下降与随机近端梯度更新。该方法实现了高效、内存轻量的优化，支持灵活的正则化并具备可证明的收敛性，在医学影像和计算机视觉的大型密集张量上优于现有方法。

ABSTRACT

This work considers the problem of computing the canonical polyadic decomposition (CPD) of large tensors. Prior works mostly leverage data sparsity to handle this problem, which is not suitable for handling dense tensors that often arise in applications such as medical imaging, computer vision, and remote sensing. Stochastic optimization is known for its low memory cost and per-iteration complexity when handling dense data. However, exisiting stochastic CPD algorithms are not flexible enough to incorporate a variety of constraints/regularizations that are of interest in signal and data analytics. Convergence properties of many such algorithms are also unclear. In this work, we propose a stochastic optimization framework for large-scale CPD with constraints/regularizations. The framework works under a doubly randomized fashion, and can be regarded as a judicious combination of randomized block coordinate descent (BCD) and stochastic proximal gradient (SPG). The algorithm enjoys lightweight updates and small memory footprint. In addition, this framework entails considerable flexibility---many frequently used regularizers and constraints can be readily handled under the proposed scheme. The approach is also supported by convergence analysis. Numerical results on large-scale dense tensors are employed to showcase the effectiveness of the proposed approach.

研究动机与目标

• 为解决医学影像、计算机视觉和遥感中常见的大型密集张量的典型多线性分解（CPD）计算挑战。
• 克服现有随机CPD算法在处理正则化和约束方面灵活性不足、且收敛性质不明确的局限性。
• 开发一种可扩展、内存高效的优化框架，支持多种正则化项和约束，同时保持较低的每轮迭代复杂度。
• 在双重随机化更新方案下，为所提出的随机优化框架提供收敛性分析。

提出的方法

• 该方法采用双重随机化方案：随机选择张量纤维（用于数据采样）和随机选择因子块（用于块坐标更新）。
• 将随机化块坐标下降（BCD）与随机近端梯度（SPG）相结合，实现在每次迭代中进行全因子更新，同时保持低内存占用。
• 通过采样的张量纤维对梯度进行随机近似，并采用自适应步长（如Adagrad）以提升收敛性能。
• 引入近端算子，直接在更新规则中处理各类正则化项（如稀疏性、非负性）。
• 通过仅操作部分张量数据并在每次迭代中仅更新一个因子块，实现轻量级更新。
• 通过李雅普诺夫函数分析建立收敛性，证明在有界性假设下梯度范数几乎必然收敛至零。

实验结果

研究问题

• RQ1 能否设计一种适用于大规模密集张量CPD的随机优化框架，支持灵活的正则化和约束？
• RQ2 如何在确保每次迭代中实现全因子更新的前提下，最小化每轮迭代的复杂度？
• RQ3 双重随机化随机近端梯度方法在张量CPD中的收敛行为如何？
• RQ4 该框架能否在处理密集张量时保持低内存占用和计算成本？

主要发现

• 与批量方法相比，所提出的框架在内存和计算方面实现了显著节省，能够处理大到无法装入主内存的张量。
• 该算法几乎必然收敛至驻点，其理论保证通过李雅普诺夫函数分析得到支持。
• 在医学影像和计算机视觉的大型密集张量上的实证结果表明，其收敛速度更快，性能优于现有随机CPD方法。
• 该方法能有效整合多种正则化项（如非负性、稀疏性），且不牺牲收敛性或效率。
• 该框架支持分布式实现，并在张量规模和秩增大时表现出良好的可扩展性。