[论文解读] Generalized tensor regression with covariates on multiple modes

Zhuoyan Xu, Jiaxin Hu+1 more|arXiv (Cornell University)|Oct 21, 2019

Tensor decomposition and applications参考文献 6被引用 6

一句话总结

本文提出了一种广义张量回归框架，能够对多模式协变量下的张量响应进行建模，支持对连续型、计数型和二值型数据的高维分析。该方法采用高效的交替更新算法，并建立了理论精度保证，在模拟实验和真实神经影像学与网络数据应用中均优于现有最先进方法。

ABSTRACT

We consider the problem of tensor-response regression given covariates on multiple modes. Such data problems arise frequently in applications such as neuroimaging, network analysis, and spatial-temporal modeling. We propose a new family of tensor response regression models that incorporate covariates, and establish the theoretical accuracy guarantees. Unlike earlier methods, our estimation allows high-dimensionality in both the tensor response and the covariate matrices on multiple modes. An efficient alternating updating algorithm is further developed. Our proposal handles a broad range of data types, including continuous, count, and binary observations. Through simulation and applications to two real datasets, we demonstrate the outperformance of our approach over the state-of-art.

研究动机与目标

• 解决在高维设置下对多模式协变量的张量响应进行建模的挑战。
• 在统一框架内实现对连续型、计数型和二值型观测等多样化数据类型的回归分析。
• 开发一种计算高效的算法，能够处理复杂的张量与协变量结构。
• 在高维设置下，为所提出的估计程序建立理论精度保证。
• 通过模拟实验和真实数据应用，证明该方法在预测精度和模型拟合方面优于现有最先进方法。

提出的方法

• 提出一种广义张量回归模型，将协变量纳入响应张量的多个模式中。
• 采用适合各类指数族分布的似然函数或损失函数，构建估计问题的优化目标。
• 开发一种交替更新算法，通过迭代优化张量系数与协变量效应，确保计算可扩展性。
• 引入正则化技术，以处理多个模式下张量响应与协变量矩阵的高维性。
• 通过高维渐近下的严格统计分析，确保估计的一致性与估计误差界。
• 通过允许单一框架内包含不同类型结果（连续型、计数型、二值型），实现对多变量响应的灵活建模。

实验结果

研究问题

• RQ1 如何在保持统计与计算效率的前提下，将协变量扩展至多模式张量响应回归？
• RQ2 在具有多模式协变量的高维设置下，所提方法的理论精度如何？
• RQ3 该方法能否在统一框架下有效处理连续型、计数型和二值型响应等多样化数据类型？
• RQ4 在真实世界数据集上，该方法在预测精度与模型拟合方面相较于现有最先进方法表现如何？
• RQ5 该交替更新算法在高维张量与协变量空间中的计算可扩展性如何？

主要发现

• 在模拟研究与真实数据应用中，所提方法在预测精度方面均优于现有最先进方法。
• 理论分析证实了在高维设置下，所提估计器的一致性与估计误差界。
• 交替更新算法收敛迅速，且在张量与协变量维度增加时仍保持良好的可扩展性。
• 该框架成功在一个统一的回归模型中实现了对连续型、计数型与二值型数据的建模。
• 在神经影像学与网络数据上的实证结果表明，该方法在复杂真实场景中具有鲁棒性与实际应用价值。
• 当张量响应与协变量矩阵在多个模式下均为高维时，该方法仍保持优异性能。