[论文解读] Higher order Matching Pursuit for Low Rank Tensor Learning

Yuning Yang, Siamak Mehrkanoon+1 more|arXiv (Cornell University)|Mar 7, 2015

Tensor decomposition and applications参考文献 41被引用 5

一句话总结

本文提出高阶匹配追踪（HoMP），一种可扩展的低秩张量学习算法，通过迭代构建张量作为秩一成分的和来实现。通过高效近似张量奇异值问题并保证近似比，HoMP在凸与非凸优化问题中均实现线性收敛，同时保持低存储与计算复杂度，在张量补全与多线性多任务学习任务中优于当前最先进方法。

ABSTRACT

Low rank tensor learning, such as tensor completion and multilinear multitask learning, has received much attention in recent years. In this paper, we propose higher order matching pursuit for low rank tensor learning problems with a convex or a nonconvex cost function, which is a generalization of the matching pursuit type methods. At each iteration, the main cost of the proposed methods is only to compute a rank-one tensor, which can be done efficiently, making the proposed methods scalable to large scale problems. Moreover, storing the resulting rank-one tensors is of low storage requirement, which can help to break the curse of dimensionality. The linear convergence rate of the proposed methods is established in various circumstances. Along with the main methods, we also provide a method of low computational complexity for approximately computing the rank-one tensors, with provable approximation ratio, which helps to improve the efficiency of the main methods and to analyze the convergence rate. Experimental results on synthetic as well as real datasets verify the efficiency and effectiveness of the proposed methods.

研究动机与目标

• 为解决现有低秩张量学习方法依赖奇异值分解（SVD）所导致的可扩展性与存储限制问题。
• 开发一种贪心的迭代方法，用于低秩张量逼近，避免昂贵的SVD计算，同时保持收敛性保证。
• 将匹配追踪原理推广至高阶张量，使其适用于凸与非凸代价函数。
• 提出一种可证明准确、低复杂度的算法，基于梯度信息计算秩一张量。
• 在张量补全与多线性多任务学习中，建立HoMP的线性收敛速率。

提出的方法

• HoMP通过迭代方式将低秩张量构建为秩一成分的和，每次迭代根据梯度信息选择能最大程度降低代价函数的成分。
• 在每次迭代中，通过求解一个张量谱范数子问题来确定秩一张量，该子问题通过具有可证明近似比的方法进行近似。
• 对于包含最小二乘损失的代价函数，采用三种策略——匹配追踪、经济正交匹配追踪与正交匹配追踪——来选择步长。
• 对于非凸代价函数，通过最小化代价函数的二次上界函数来选择权重，确保下降行为。
• 该方法利用低秩结构，仅存储秩一成分，将存储复杂度降低至O((n₁ + ⋯ + nₙ) × r)，其中r为迭代次数。
• 在凸与非凸设置下均进行了收敛性分析，证明了在张量补全与MLMTL任务中具有线性收敛性。

实验结果

研究问题

• RQ1 能否将匹配追踪风格的算法推广至高阶张量，实现具有可证明收敛性的低秩学习？
• RQ2 能否以保证近似比的方式高效近似张量奇异值问题，从而实现可扩展性？
• RQ3 所提出的方法是否在张量补全与多线性多任务学习中，对凸与非凸代价函数均实现线性收敛？
• RQ4 在大规模场景下，HoMP的存储与计算复杂度与基于SVD或交替最小化的方法相比如何？
• RQ5 该方法能否有效恢复真实张量数据（如带有阴影的人脸图像）中的缺失条目并去除噪声？

主要发现

• HoMP在张量补全与多线性多任务学习中，对凸与非凸代价函数均实现线性收敛，验证了理论分析结果。
• 该方法仅需O((n₁ + ⋯ + nₙ) × r)的存储空间来表示最终张量，显著低于基于矩阵的方法（如RPCA）所需的O(n₁n₂n₃)存储空间。
• 在包含60%缺失条目的面部图像数据集上，HoMP成功填补了缺失值并去除了阴影，而RPCA未能恢复所有条目。
• HoMP-G在相同任务中仅需169,600单位存储，远低于RPCA的2,064,384单位。
• 该算法在去除阴影与高光方面优于RPCA，尤其在保留线条等精细图像细节方面表现更优。
• 图7中的收敛性曲线显示代价函数的对数呈线性衰减，验证了理论预测的线性收敛速率。