[论文解读] Low-rank tensor completion: a Riemannian manifold preconditioning approach

Hiroyuki Kasai, Bamdev Mishra|arXiv (Cornell University)|May 26, 2016

Tensor decomposition and applications参考文献 22被引用 33

一句话总结

本文提出了一种基于新型度量的黎曼流形预条件化方法，用于低秩张量补全，该度量专为最小二乘代价函数和Tucker分解对称性而设计。通过利用Tucker分解中的结构对称性及通过定制黎曼度量获得的二阶信息，该方法实现了高效的非线性共轭梯度和随机梯度下降算法，在合成数据集和真实世界数据集上均优于当前最先进方法，在准确性和鲁棒性方面表现更优。

ABSTRACT

We propose a novel Riemannian manifold preconditioning approach for the tensor completion problem with rank constraint. A novel Riemannian metric or inner product is proposed that exploits the least-squares structure of the cost function and takes into account the structured symmetry that exists in Tucker decomposition. The specific metric allows to use the versatile framework of Riemannian optimization on quotient manifolds to develop preconditioned nonlinear conjugate gradient and stochastic gradient descent algorithms for batch and online setups, respectively. Concrete matrix representations of various optimization-related ingredients are listed. Numerical comparisons suggest that our proposed algorithms robustly outperform state-of-the-art algorithms across different synthetic and real-world datasets.

研究动机与目标

• 解决在固定多线性秩约束下的低秩张量补全问题。
• 通过利用Tucker分解中的结构对称性，提升优化效率。
• 通过引入针对问题的黎曼度量，结合二阶信息，提升收敛性和鲁棒性。
• 在商流形上使用黎曼优化，开发可扩展的批量和在线算法。
• 在张量补全的准确性和稳定性方面超越现有最先进方法。

提出的方法

• 提出一种新型黎曼度量，融合了代价函数的最小二乘结构和Tucker分解中的对称性。
• 将低秩张量补全问题表述为在Tucker张量商流形上的优化问题。
• 推导出黎曼优化组件（包括梯度、Hessian矩阵和重投影）的具体矩阵表示。
• 开发用于批量处理的预条件化非线性共轭梯度下降算法，以及用于在线学习的随机梯度下降算法。
• 利用定制度量诱导预条件效应，提升收敛速度和稳定性。
• 在Manopt工具箱中实现算法，并提供用于梯度和信赖域方法的开源代码。

实验结果

研究问题

• RQ1 黎曼流形预条件化方法能否提升低秩张量补全中的收敛性和准确性？
• RQ2 一种捕捉最小二乘结构和Tucker对称性的特定问题黎曼度量，如何影响优化性能？
• RQ3 所提出的框架能否高效处理批量和在线张量补全场景？
• RQ4 在多样化的数据集上，该方法在鲁棒性和可扩展性方面与最先进算法相比如何？
• RQ5 结构化预条件化对张量补全中的收敛速度和解质量有何影响？

主要发现

• 所提出的黎曼预条件化方法在多个合成和真实世界数据集上，始终优于当前最先进算法，在恢复准确性方面表现更优。
• 随机梯度下降变体在在线设置中表现出色，展现出良好的可扩展性和鲁棒性。
• 数值实验表明，与geomCG、HaLRTC、TOpt和Latent等基准方法相比，该方法在训练集和测试集上均表现出更优的收敛行为和更低的均方误差。
• 在五次运行中，该方法在Airport Hall数据集上实现了更低的训练误差（例如，约7.21）和测试误差（例如，约7.45），优于TeCPSGD和OLSTEC。
• 定制的黎曼度量带来了显著的预条件效应，通过利用二阶信息和对称性，提升了优化效率。
• 该方法在不同采样率、噪声水平和张量维度下均表现出鲁棒性，包括高达10,000×10,000×10,000的大规模实例。