[论文解读] Jointly Modeling and Clustering Tensors in High Dimensions

Biao Cai, Jingfei Zhang+1 more|arXiv (Cornell University)|Apr 15, 2021

Tensor decomposition and applications参考文献 61被引用 5

一句话总结

本文提出一种具有异质协方差的高维张量混合模型，用于联合建模与聚类张量数据，利用低秩均值和可分、条件稀疏协方差结构。该方法提出HECM算法——高效、凸优化且解析解形式——实现几何收敛至统计精度，相较于基准方法在合成数据与fMRI数据上的聚类准确率表现更优。

ABSTRACT

We consider the problem of jointly modeling and clustering populations of tensors by introducing a high-dimensional tensor mixture model with heterogeneous covariances. To effectively tackle the high dimensionality of tensor objects, we employ plausible dimension reduction assumptions that exploit the intrinsic structures of tensors such as low-rankness in the mean and separability in the covariance. In estimation, we develop an efficient high-dimensional expectation-conditional-maximization (HECM) algorithm that breaks the intractable optimization in the M-step into a sequence of much simpler conditional optimization problems, each of which is convex, admits regularization and has closed-form updating formulas. Our theoretical analysis is challenged by both the non-convexity in the EM-type estimation and having access to only the solutions of conditional maximizations in the M-step, leading to the notion of dual non-convexity. We demonstrate that the proposed HECM algorithm, with an appropriate initialization, converges geometrically to a neighborhood that is within statistical precision of the true parameter. The efficacy of our proposed method is demonstrated through comparative numerical experiments and an application to a medical study, where our proposal achieves an improved clustering accuracy over existing benchmarking methods.

研究动机与目标

• 为解决在保留张量固有结构的前提下聚类高维张量数据的挑战。
• 联合建模与聚类具有异质协方差结构的张量群体，放宽同质性假设的严格限制。
• 开发一种计算高效且统计稳健的高维张量混合模型估计方法。
• 通过均值与协方差的结构化降维假设确保模型可解释性。
• 在自闭症谱系障碍研究的合成数据与真实fMRI数据上展示优越的聚类性能。

提出的方法

• 提出一种具有异质协方差的高维张量混合模型，以捕捉张量数据中群体异质性。
• 对张量均值施加低秩与内部稀疏结构，以降低维度并提升可解释性。
• 假设协方差结构为可分且条件稀疏，以在保持可处理性的同时建模复杂依赖关系。
• 开发HECM算法，将EM算法中难以处理的M步重新表述为一系列凸、正则化、解析形式的优化问题。
• 采用对偶非凸性分析，在适当初始化下建立几何收敛性。
• 利用张量分解与条件最大化，实现在高维设置下的可扩展且稳定的推断。

Figure 1: Tensor fibers, unfolding and vectorization.

实验结果

研究问题

• RQ1 具有异质协方差的张量混合模型能否有效捕捉高维张量数据中的群体异质性？
• RQ2 低秩与结构化协方差假设在张量聚类中如何提升估计效率与可解释性？
• RQ3 何种算法框架可在M步难以处理的高维张量模型中实现稳定且高效的估计？
• RQ4 尽管EM类过程存在非凸性，所提出的HECM算法在多大程度上实现几何收敛？
• RQ5 在真实世界fMRI数据上，该方法与现有基准相比在聚类准确率上表现如何？

主要发现

• 在适当初始化下，HECM算法可几何收敛至真实参数的统计精度邻域内。
• 与基准方法（包括DEEM与基于向量的聚类）相比，该方法在合成数据与真实fMRI数据上均显著提升了聚类准确率。
• 在包含57名受试者、张量大小为116×116×30的fMRI数据中，所提方法成功识别出自闭症谱系障碍（ASD）与正常对照组之间不同的脑连接模式。
• 研究发现ASD受试者表现出更少动态性与更弱连接的脑网络，尤其在额叶区域，与现有神经影像学发现一致。
• 该方法展现出良好的数值稳定性与鲁棒性，优于DEEM——后者在模拟中表现出对模型误设的敏感性与不稳定性。
• 估计的脑连接模式显示出明显差异：正常对照组表现出先增加后减少的连接性，而ASD受试者则呈现相对稳定且低水平的连接性。

Figure 2: An illustration of rank- $R$ sparse CP decomposition for a third-order tensor.