[论文解读] A New Convex Relaxation for Tensor Completion

Bernardino Romera‐Paredes, Massimiliano Pontil|arXiv (Cornell University)|Jul 17, 2013

Sparse and Compressive Sensing Techniques被引用 108

一句话总结

该论文提出了一种新的张量补全凸松弛方法，通过利用欧氏球而非谱范数，相较于标准张量核范数正则化，提供了更紧致的张量秩凸近似。基于增广拉格朗日乘子法（ADMM）框架并结合基于次梯度的邻近算子，该方法在合成数据集和真实世界数据集（ILEA 和 Ocean 视频）上实现了显著更低的估计误差，同时保持了良好的计算可处理性，尤其在张量规模增大时表现更优。

ABSTRACT

We study the problem of learning a tensor from a set of linear measurements. A prominent methodology for this problem is based on a generalization of trace norm regularization, which has been used extensively for learning low rank matrices, to the tensor setting. In this paper, we highlight some limitations of this approach and propose an alternative convex relaxation on the Euclidean ball. We then describe a technique to solve the associated regularization problem, which builds upon the alternating direction method of multipliers. Experiments on one synthetic dataset and two real datasets indicate that the proposed method improves significantly over tensor trace norm regularization in terms of estimation error, while remaining computationally tractable.

研究动机与目标

• 为解决张量核范数正则化在张量补全中作为张量秩的非紧致凸松弛所存在的局限性。
• 通过利用欧氏球而非谱范数，设计一种新的凸正则化项，以更有效地促进张量的低秩结构。
• 设计一种高效的优化算法以求解所得正则化问题，确保计算可处理性。
• 在合成与真实世界张量补全任务中，通过实证验证所提方法相较于张量核范数正则化的性能。
• 证明新正则化项在多种数据集上均能持续降低估计误差。

提出的方法

• 提出一种基于欧氏球的新型张量秩凸松弛方法，理论上比张量核范数更紧致。
• 定义一种正则化项，通过在欧氏约束下最小化所有展平矩阵的核范数之和，以促进低秩结构。
• 采用增广拉格朗日乘子法（ADMM）求解正则化优化问题，实现问题的有效分解。
• 使用次梯度法计算所提正则化项的邻近算子，这对ADMM的收敛性至关重要。
• 提出一种两步迭代算法：一步用于更新张量估计，另一步通过邻近算子强制实现低秩结构。
• 通过最小化最小二乘数据保真项与新正则化项的组合来应用该方法于张量补全，超参数通过交叉验证进行调优。

实验结果

研究问题

• RQ1 张量核范数是否为张量秩的紧致凸松弛？其是否能准确促进低秩解？
• RQ2 基于欧氏球的凸松弛是否能提供比基于核范数的方法更紧致的张量秩近似？
• RQ3 在真实与合成张量补全任务中，所提方法相较于张量核范数正则化在估计误差方面表现如何？
• RQ4 随着张量规模增大，所提方法相对于现有方法的计算可扩展性如何？
• RQ5 尽管松弛更紧致，新正则化项是否仍保持计算效率？

主要发现

• 在合成与真实世界数据集上，所提方法的估计误差显著低于张量核范数正则化，配对t检验的p值均低于0.01。
• 在ILEA数据集上，所提方法在所有测试样本规模下均表现出一致且统计显著优于张量核范数正则化。
• 在Ocean视频数据集上，所提方法优于核范数基线，当m > 5×10^4个采样条目时，p值低于10^-6。
• 对于小张量（p=20），所提方法的运行时间约为核范数正则化的22.66倍，但当p=200时，该比值降至1.91，表明其随张量规模增大而展现出更好的可扩展性。
• 随着张量规模增大，两方法运行时间比持续下降，原因在于SVD计算（O(p^3)）主导了计算开销，而所提方法中更昂贵的步骤占比降低。
• 结果证实，新凸松弛作为张量秩的近似比张量核范数更紧致，从而带来了更优的恢复性能。