[论文解读] Boosted Sparse and Low-Rank Tensor Regression

Lifang He, Kun Chen+3 more|arXiv (Cornell University)|Nov 3, 2018

Tensor decomposition and applications被引用 20

一句话总结

本文提出了一种增强的稀疏低秩张量回归模型，通过分而治之策略将系数张量分解为稀疏的单位秩分量，并采用逐步估计程序高效追踪完整的正则化路径。该方法在真实和合成张量数据上实现了卓越的预测精度、高度稀疏性以及计算效率。

ABSTRACT

We propose a sparse and low-rank tensor regression model to relate a univariate outcome to a feature tensor, in which each unit-rank tensor from the CP decomposition of the coefficient tensor is assumed to be sparse. This structure is both parsimonious and highly interpretable, as it implies that the outcome is related to the features through a few distinct pathways, each of which may only involve subsets of feature dimensions. We take a divide-and-conquer strategy to simplify the task into a set of sparse unit-rank tensor regression problems. To make the computation efficient and scalable, for the unit-rank tensor regression, we propose a stagewise estimation procedure to efficiently trace out its entire solution path. We show that as the step size goes to zero, the stagewise solution paths converge exactly to those of the corresponding regularized regression. The superior performance of our approach is demonstrated on various real-world and synthetic examples.

研究动机与目标

• 解决对可解释且简洁的张量回归模型的需求，以捕捉高阶数据中复杂的多路特征依赖关系。
• 克服现有稀疏低秩张量模型的局限性，这些模型对完整系数张量施加稀疏性，而非对其结构分量施加稀疏性。
• 通过将问题分解为一系列稀疏单位秩回归子问题，实现张量回归的高效计算。
• 通过确保每个低秩分量对应一条独立且稀疏的特征到结果的路径，提升模型可解释性。

提出的方法

• 使用CP分解（CANDECOMP/PARAFAC）形式化张量回归，其中系数张量的每个单位秩分量被约束为稀疏。
• 应用分而治之策略，将完整的张量回归问题简化为多个稀疏单位秩张量回归（SURF）子问题。
• 开发一种逐步估计程序，高效追踪每个SURF问题的完整解路径，避免在每一步进行完整优化。
• 证明当步长趋近于零时，逐步解路径会精确收敛到相应正则化回归的解路径。
• 对每个单位秩分量施加ℓ₁-范数正则化，以在分量级别实现稀疏性，增强可解释性。
• 通过类似提升的迭代优化过程，整合所有分量的解路径，重建完整的低秩稀疏系数张量。

实验结果

研究问题

• RQ1 一种在单个单位秩分量层面施加稀疏性的张量回归模型，是否能比对完整系数张量施加正则化的模型实现更好的可解释性和预测精度？
• RQ2 如何在保持解的质量和稀疏性的同时，降低求解高阶张量回归问题的计算成本？
• RQ3 针对稀疏单位秩张量回归的逐步估计程序，当步长减小时，是否收敛到正则化问题的最优解？
• RQ4 在真实世界和合成数据集上，该方法与现有稀疏低秩张量回归模型相比，在性能和效率方面表现如何？

主要发现

• 在DTI和PPMI数据集上，所提出的SURF方法在所有测试方法中实现了最低的均方根误差（RMSE），综合RMSE为2.78 ± 0.29，显著优于LASSO、ENet、Remurs和GLTRM。
• SURF在系数估计中实现了最高的稀疏性，综合数据集的平均稀疏度为0.99，表明几乎所有的系数条目均为零，从而增强了可解释性。
• 该方法在执行时间上最快，综合数据集平均仅需6.2分钟，远低于GLTRM的800多分钟和ACS的463分钟。
• 配对t检验确认，SURF的RMSE显著更低，稀疏度显著更高，优于Remurs和GLTRM，证明其统计优越性。
• 逐步程序成功近似了完整的正则化路径，当步长趋近于零时，收敛到真实解路径，验证了理论基础的正确性。
• 在240×175×176大小的MRI图像上，SURF的运行时间远低于其他方法，证实其在大规模神经影像数据上的可扩展性和高效性。