[论文解读] Alternating minimization algorithms for graph regularized tensor completion

Yu Guan, Shuyu Dong+3 more|arXiv (Cornell University)|Aug 28, 2020

Tensor decomposition and applications参考文献 44被引用 4

一句话总结

本文提出了一种基于CP分解的图正则化张量补全的交替最小化与ADMM算法，利用图拉普拉斯正则化提升低秩张量恢复的性能。所提方法在低采样率下表现出优越的准确率与效率，且通过Kurdyka-Łojasiewicz性质证明了全局收敛性。

ABSTRACT

We consider a Canonical Polyadic (CP) decomposition approach to low-rank tensor completion (LRTC) by incorporating external pairwise similarity relations through graph Laplacian regularization on the CP factor matrices. The usage of graph regularization entails benefits in the learning accuracy of LRTC, but at the same time, induces coupling graph Laplacian terms that hinder the optimization of the tensor completion model. In order to solve graph-regularized LRTC, we propose efficient alternating minimization algorithms by leveraging the block structure of the underlying CP decomposition-based model. For the subproblems of alternating minimization, a linear conjugate gradient subroutine is specifically adapted to graph-regularized LRTC. Alternatively, we circumvent the complicating coupling effects of graph Laplacian terms by using an alternating directions method of multipliers. Based on the Kurdyka-Łojasiewicz property, we show that the sequence generated by the proposed algorithms globally converges to a critical point of the objective function. Moreover, the complexity and convergence rate are also derived. In addition, numerical experiments including synthetic data and real data show that the graph regularized tensor completion model has improved recovery results compared to those without graph regularization, and that the proposed algorithms achieve gains in time efficiency over existing algorithms.

研究动机与目标

• 通过图正则化引入外部相似性信息，解决部分观测下的低秩张量补全问题。
• 通过利用CP分解中的块结构，克服图拉普拉斯项在优化中耦合带来的计算挑战。
• 设计高效的算法——带线性CG的交替最小化与ADMM，以有效处理图正则化张量补全问题。
• 基于Kurdyka-Łojasiewicz性质，建立全局收敛性并推导收敛速率。
• 在合成与真实世界数据集上对所提模型与算法进行实证验证，结果表明恢复性能得到显著提升。

提出的方法

• 构建基于CP分解的张量补全模型，在因子矩阵上引入图拉普拉斯正则化，以利用成对相似性关系。
• 设计一种交替最小化算法，其中每个子问题通过带高效Hessian-向量乘积的线性共轭梯度（CG）方法求解。
• 提出一种基于ADMM的替代方法，以解耦图正则化影响并提升优化稳定性。
• 利用Kurdyka-Łojasiewicz性质证明交替最小化序列全局收敛至临界点。
• 将线性CG子程序适配于CP分解产生的块结构子问题。
• 采用基于张量模态上相似性图的图拉普拉斯矩阵，对因子矩阵进行正则化。

实验结果

研究问题

• RQ1 当仅观测到少量张量元素时，图正则化是否能提升张量补全的准确性？
• RQ2 在张量补全的交替最小化中，如何有效缓解图拉普拉斯项的耦合效应？
• RQ3 求解图正则化CP张量补全问题时，哪些优化算法最为有效？它们在收敛性与效率方面如何比较？
• RQ4 所提方法是否实现全局收敛？其理论收敛速率如何？
• RQ5 在恢复准确率与时间效率方面，所提算法与当前最先进方法相比表现如何？

主要发现

• 图正则化张量补全模型在低采样率下（如0.3%和0.5%）相比非正则化模型显著提升了恢复准确率。
• 所提AltMin-CG与ADMM算法在合成与真实数据集上均取得最低的测试RMSE，优于当前最先进方法如AirCP、TFAI与BPTF。
• AltMin-CG与ADMM在时间效率方面表现优异，单位迭代中训练误差下降速度位居前列。
• 在MovieLens与FIA数据集上，算法表现出强鲁棒性，即使在观测稀疏时仍能保持低RMSE。
• 数值实验验证了交替最小化算法的全局收敛性，理论分析基于Kurdyka-Łojasiewicz性质。
• 通过高效Hessian-向量乘法实现的线性CG子程序，显著加快了子问题求解速度，提升了整体算法效率。