[论文解读] Estimation of low-rank tensors via convex optimization

Ryota Tomioka, Kohei Hayashi+1 more|arXiv (Cornell University)|Oct 5, 2010

Sparse and Compressive Sensing Techniques参考文献 37被引用 159

一句话总结

本文提出了三种基于迹范数正则化的凸优化方法，用于通过低秩张量估计实现自动秩估计和全局收敛。这些方法在合成数据集和真实世界数据集上的预测精度、速度以及多线性结构恢复方面均优于传统的基于EM的Tucker分解方法，其中一种方法在低采样率下表现出重建性能的显著相变。

ABSTRACT

In this paper, we propose three approaches for the estimation of the Tucker decomposition of multi-way arrays (tensors) from partial observations. All approaches are formulated as convex minimization problems. Therefore, the minimum is guaranteed to be unique. The proposed approaches can automatically estimate the number of factors (rank) through the optimization. Thus, there is no need to specify the rank beforehand. The key technique we employ is the trace norm regularization, which is a popular approach for the estimation of low-rank matrices. In addition, we propose a simple heuristic to improve the interpretability of the obtained factorization. The advantages and disadvantages of three proposed approaches are demonstrated through numerical experiments on both synthetic and real world datasets. We show that the proposed convex optimization based approaches are more accurate in predictive performance, faster, and more reliable in recovering a known multilinear structure than conventional approaches.

研究动机与目标

• 为解决非凸优化在Tucker张量分解中的局限性，其可能收敛至较差的局部最小值或驻点。
• 将已在低秩矩阵中取得成功的迹范数正则化方法扩展至多维张量，以实现稳健且全局最优的估计。
• 实现无需预先指定的自动秩估计，提高可靠性并减少用户依赖。
• 通过所提出的启发式方法提升核心张量的可解释性，尤其在真实世界应用中。
• 在部分观测数据下，与传统的基于EM的方法相比，展示出更优的张量重构性能。

提出的方法

• 第一种方法，'作为矩阵'，将张量沿单一模式展开为低秩矩阵，并对展开后的张量使用迹范数正则化。
• 第二种方法，'约束'，在张量的所有模式上同时应用迹范数正则化，强制在每个模式上保持低秩结构。
• 第三种方法，'混合'，将张量建模为K个低秩分量的和，每个分量在其对应模式上均被正则化为低秩。
• 所有三种公式均为凸最小化问题，确保唯一全局最小值，并可通过交替方向乘子法（ADMM）高效求解。
• 为每种方法推导了对偶问题，并利用对偶间隙计算来监控ADMM优化过程中的收敛性。
• 提出一种启发式方法，通过因子矩阵的奇异值分解对核心张量进行加权，以提升其可解释性。

实验结果

研究问题

• RQ1 能否有效将基于迹范数正则化的凸优化方法扩展至多维张量，以确保全局收敛性和唯一解？
• RQ2 所提出的方法能否在无需预先指定的情况下自动估计张量秩？
• RQ3 在部分观测张量上，所提出的三种方法——'作为矩阵'、'约束'和'混合'——在预测性能和鲁棒性方面如何比较？
• RQ4 所提出的方法是否在低采样率下表现出与矩阵补全中类似的显著相变现象，即重建精度从差到近乎完美的过渡？
• RQ5 能否通过一种简单的后处理启发式方法显著改善核心张量的可解释性？

主要发现

• 所提出的基于凸优化的方法在合成数据集和真实世界数据集上的预测精度显著高于传统的基于EM的Tucker分解方法。
• 与非凸方法相比，这些方法在恢复潜在多线性结构方面速度更快、更可靠。
• 所提出的方法之一表现出显著的阈值行为：当维度固定时，重建性能在采样率大致与底层张量的k-秩之和成比例的临界点附近，从差到近乎完美的拟合发生突变。
• ‘混合’方法在灵活性与性能之间表现出良好平衡，尤其当张量并非在所有模式上同时为低秩时更具潜力。
• 所提出的启发式方法在氨基酸荧光数据集上的实验表明，显著提升了核心张量的可解释性。
• 对偶间隙计算实现了可靠的收敛性监控，且基于ADMM的求解器能高效求解大规模优化问题。