[论文解读] Exact Clustering in Tensor Block Model: Statistical Optimality and Computational Limit

Rungang Han, Yuetian Luo+2 more|arXiv (Cornell University)|Dec 18, 2020

Tensor decomposition and applications参考文献 76被引用 9

一句话总结

本文提出了一种张量块模型及高效算法——高阶Lloyd算法（HLloyd）与高阶谱聚类（HSC），用于多路数据中的精确聚类。在次高斯噪声下，该文建立了统计最优性，并刻画了在三种信噪比区间下的统计-计算权衡，借助新颖的高阶谱扰动分析与张量估计中无需奇异值间隔的误差界。

ABSTRACT

High-order clustering aims to identify heterogeneous substructures in multiway datasets that arise commonly in neuroimaging, genomics, social network studies, etc. The non-convex and discontinuous nature of this problem pose significant challenges in both statistics and computation. In this paper, we propose a tensor block model and the computationally efficient methods, \emph{high-order Lloyd algorithm} (HLloyd), and high-order spectral clustering (HSC), for high-order clustering. The convergence guarantees and statistical optimality are established for the proposed procedure under a mild sub-Gaussian noise assumption. Under the Gaussian tensor block model, we completely characterize the statistical-computational trade-off for achieving high-order exact clustering based on three different signal-to-noise ratio regimes. The analysis relies on new techniques of high-order spectral perturbation analysis and a ``singular-value-gap-free'' error bound in tensor estimation, which are substantially different from the matrix spectral analyses in the literature. Finally, we show the merits of the proposed procedures via extensive experiments on both synthetic and real datasets.

研究动机与目标

• 解决神经影像学、基因组学与社交网络中常见的多路数据离散块结构下的高阶聚类挑战。
• 克服张量中精确聚类的非凸性与不连续性，该特性阻碍了统计推断与计算效率。
• 开发计算高效的算法，在温和的次高斯噪声假设下实现统计最优性。
• 在高斯张量块模型下，刻画三种信噪比区间中精确聚类的统计-计算权衡。
• 基于高阶谱扰动与张量估计误差界的新技术，建立理论基础，与经典基于矩阵的方法形成鲜明对比。

提出的方法

• 提出一种张量块模型，捕捉张量多模式下的离散聚类结构，其中每个模式被划分为若干聚类。
• 引入高阶Lloyd算法（HLloyd），一种计算高效的迭代方法，受k-means启发，专为张量聚类设计。
• 开发高阶谱聚类（HSC），一种谱松弛方法，利用张量奇异值分解进行初始化与聚类。
• 在次高斯噪声假设下，建立HLloyd与HSC的收敛性保证与统计最优性。
• 推导张量估计的“无需奇异值间隔”的误差界，使分析无需依赖谱间隙，是相较于基于矩阵方法的关键创新。
• 利用高阶谱扰动分析刻画噪声下张量奇异向量的行为，构成理论分析的核心。

实验结果

研究问题

• RQ1 在计算高效算法下，能否在保持统计最优性的同时实现张量块模型中的精确聚类？
• RQ2 在不同信噪比下，精确张量聚类的根本统计-计算权衡是什么？
• RQ3 高阶谱扰动与无需奇异值间隔的误差界在多大程度上提升了张量估计性能，相较于经典基于矩阵的方法？
• RQ4 HLloyd与HSC在高斯张量块模型下能多大程度实现精确聚类？
• RQ5 在多路数据中，精确聚类的理论极限在样本量、维度与噪声水平方面如何？

主要发现

• 所提出的HLloyd与HSC算法在温和的次高斯噪声假设下实现精确聚类，且已建立收敛性保证。
• 在高斯张量块模型下，本文完全刻画了在三种信噪比区间（低、中、高）下的统计-计算权衡。
• 高阶谱扰动分析使得在无谱间隙条件下也能精确控制噪声下张量奇异向量的估计。
• “无需奇异值间隔”的误差界为张量估计误差提供了更紧致且更通用的框架，适用于低秩矩阵模型之外的场景。
• 理论分析表明，这些算法实现了统计最优性，即在高信噪比（SNR）区域达到信息论下界。
• 在合成与真实数据集上的大量实验表明，HLloyd与HSC在聚类准确率与鲁棒性方面显著优于现有方法。