[论文解读] A dual framework for low-rank tensor completion

Madhav Nimishakavi, Pratik Jawanpuria+1 more|arXiv (Cornell University)|Dec 4, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用 7

一句话总结

该论文提出了一种新颖的非稀疏潜在迹范数正则化方法，用于低秩张量补全，相比现有稀疏组合方法能更好地捕捉多模态信息。通过构建对偶框架并利用流形上的黎曼优化，该方法在真实世界数据集（包括视频、高光谱图像和推荐任务）上实现了更优的性能与鲁棒性。

ABSTRACT

One of the popular approaches for low-rank tensor completion is to use the latent trace norm regularization. However, most existing works in this direction learn a sparse combination of tensors. In this work, we fill this gap by proposing a variant of the latent trace norm that helps in learning a non-sparse combination of tensors. We develop a dual framework for solving the low-rank tensor completion problem. We first show a novel characterization of the dual solution space with an interesting factorization of the optimal solution. Overall, the optimal solution is shown to lie on a Cartesian product of Riemannian manifolds. Furthermore, we exploit the versatile Riemannian optimization framework for proposing computationally efficient trust region algorithm. The experiments illustrate the efficacy of the proposed algorithm on several real-world datasets across applications.

研究动机与目标

• 解决现有潜在迹范数方法中通过张量稀疏组合学习所导致的高阶数据结构丢失问题。
• 开发一种非稀疏组合方法，以更好地保留所有张量模态中的信息，尤其是在低秩设置下。
• 提出一个对偶框架，将解空间表征为黎曼流形的笛卡尔积，以实现高效优化。
• 设计一种在黎曼谱锥流形上计算高效的信赖域算法，实现可扩展的张量补全。
• 在多样化的现实世界应用中，相比最先进方法，展示出改进的泛化能力与对异常值的鲁棒性。

提出的方法

• 提出一种潜在迹范数的变体，促进张量的非稀疏组合，其正则化项为 ∑ₖ ||W⁽ᵏ⁾ₖ||*²，其中每个 W⁽ᵏ⁾ 在模 k 上受低秩约束。
• 引入一个对偶框架，将最优解表征为黎曼流形的笛卡尔积，从而实现紧凑的张量表示。
• 将优化问题表述为在黎曼谱锥流形上的固定秩问题，利用流形结构实现高效计算。
• 开发一种基于黎曼优化的信赖域算法，以求解固定秩形式，确保收敛性与可扩展性。
• 利用对偶表征推导紧凑表示，降低高维设置下的存储与计算成本。
• 通过最小化带新非稀疏正则化的Frobenius范数损失，将该框架应用于张量补全，实现更好的泛化能力。

实验结果

研究问题

• RQ1 与潜在迹范数正则化中的稀疏组合相比，非稀疏张量组合是否能提升张量补全性能？
• RQ2 如何利用对偶框架表征低秩张量补全的解空间，以实现高效优化？
• RQ3 非稀疏正则化对现实世界张量补全任务中的泛化能力与异常值鲁棒性有何影响？
• RQ4 在结构化流形（如谱锥）上进行黎曼优化，是否能带来可扩展且高效的张量补全算法？
• RQ5 在多种数据集上，该方法与最先进算法相比，在重构误差与鲁棒性方面表现如何？

主要发现

• 所提出的TR-MM算法在Ribeira高光谱图像数据集上表现最佳，噪声为5%时RMSE为0.081，优于所有基线方法（包括TR-LS、FFW和HaLRTC）。
• 在FB15k-237链接预测数据集上，TR-MM在5%噪声下AUC达到0.803，显著优于竞争对手（Rprecon为0.734，BayesCP为0.711）。
• 该算法对异常值表现出更优的鲁棒性：在10%噪声下，TR-MM在Ribeira数据集上的RMSE保持在0.111，而FFW和Hard分别为0.171和0.258。
• 理论分析表明，重构误差被有界于 (2/λ) × minₖ√nₖ，当噪声趋近于零时该界趋于零，证实了在噪声下的收敛一致性。
• 数值实验确认，非稀疏组合相比稀疏替代方案具有更好的泛化能力，尤其在捕捉多模态依赖关系方面。
• 在黎曼流形上的信赖域算法实现了可扩展性能，即使在某些基线方法无法收敛的大规模数据集上，该方法依然有效。