[论文解读] Riemannian preconditioning for tensor completion

Hiroyuki Kasai, Bamdev Mishra|arXiv (Cornell University)|Jun 6, 2015

Tensor decomposition and applications参考文献 21被引用 9

一句话总结

本论文提出了一种基于新型度量的黎曼预处理方法，用于低秩张量补全，该度量利用了代价函数的最小二乘结构以及Tucker张量分解中的对称性。通过将问题嵌入商流形上的黎曼优化框架，该方法实现了预处理的非线性共轭梯度算法，在合成数据集和真实世界数据集上均展现出比当前最先进方法更快的收敛速度和更高的精度。

ABSTRACT

We propose a novel Riemannian preconditioning approach for the tensor completion problem with rank constraint. A Riemannian metric or inner product is proposed that exploits the least-squares structure of the cost function and takes into account the structured symmetry in Tucker decomposition. The specific metric allows to use the versatile framework of Riemannian optimization on quotient manifolds to develop a preconditioned nonlinear conjugate gradient algorithm for the problem. To this end, concrete matrix representations of various optimization-related ingredients are listed. Numerical comparisons suggest that our proposed algorithm robustly outperforms state-of-the-art algorithms across different problem instances encompassing various synthetic and real-world datasets.

研究动机与目标

• 解决在已知或估计秩的固定多线性秩约束下的低秩张量补全问题。
• 利用Tucker分解中的固有对称性以及代价函数的最小二乘性质，提升优化效率。
• 开发一种黎曼预处理框架，通过定制的黎曼度量增强张量补全中的收敛性能。
• 提供黎曼优化组件的明确矩阵表示，以支持实际实现。
• 在多样化的合成与真实世界张量补全基准上展示优越性能。

提出的方法

• 构建了一种新颖的黎曼度量，其结合了来自最小二乘代价函数的二阶信息，并尊重Tucker分解的结构对称性。
• 在Tucker张量的商流形上进行优化，利用Tucker分量的非唯一性来定义黎曼结构。
• 基于该度量开发了预处理的非线性共轭梯度算法，给出了黎曼梯度、Hessian矩阵和重投影的显式矩阵表示。
• 该算法在Manopt工具箱中实现，并采用线搜索策略以确保收敛性。
• 在合成张量和真实世界数据集（包括高光谱图像和MovieLens-10M数据集）上对方法进行了验证。
• 黎曼预处理源自代价函数的Hessian近似，从而改善了搜索方向中的曲率信息。

实验结果

研究问题

• RQ1 黎曼预处理框架是否能够提升张量补全中的收敛速度和精度？
• RQ2 如何利用Tucker分解中的对称性来设计特定于问题的黎曼度量？
• RQ3 将代价函数的最小二乘结构融入黎曼度量是否能带来更优的优化性能？
• RQ4 所提出的算法在多样化的张量补全基准上与当前最先进方法相比表现如何？
• RQ5 所提出的方法是否能有效扩展到大规模和稀疏张量补全问题？

主要发现

• 在Ribeira高光谱图像数据集上，所提算法的测试均方误差（MSE）显著低于geomCG，分别为8.2095×10⁻⁴（OS=11）和6.9516×10⁻⁴（OS=22），而geomCG的对应值分别为3.8342×10⁻¹和6.2590×10⁻³。
• 在MovieLens-10M数据集（0.002%观测条目）上，所提方法在所有测试秩下均获得比geomCG更低的测试MSE，最佳表现出现在秩(4,4,4)时，为0.6762±1.5×10⁻³。
• 在所有测试的合成张量实例中，包括大小为1000×1000×10000且秩为(7,6,6)、(10,5,5)和(15,4,4)的大规模张量，所提算法的收敛速度均快于geomCG。
• 在Ribeira案例中，观测比为5%（OS=11）时，所提方法在33±13秒内达到8.2095×10⁻⁴的测试MSE，优于geomCG（耗时36±14秒，且MSE显著更高）。
• 在Ribeira和MovieLens-10M基准上，所提方法始终获得比HaLRTC、TOpt、Latent和Hard更低的测试MSE，表明其在不同数据类型和稀疏度水平下的鲁棒性。
• 该算法表现出强大的可扩展性，在最大规模的MovieLens-10M任务（秩(10,10,10)）中耗时32,802±52秒，测试MSE为1.0107×10⁻²，时间与精度均优于geomCG。