[论文解读] Clustering Higher Order Data: Finite Mixtures of Multidimensional Arrays

Peter A. Tait, Paul D. McNicholas|arXiv (Cornell University)|Jul 19, 2019

Algorithms and Data Compression被引用 5

一句话总结

本文提出了一种用于聚类高阶多维数组（阶数 d > 2 的张量）的有限混合模型，将传统聚类方法从仅限于矩阵（二阶张量）的范围扩展至更高阶张量。该方法基于概率框架，将数据建模为 d 维数组的混合，通过 EM 算法实现聚类与参数估计的同步进行，其核心贡献在于首次将有限混合模型推广至 d > 2 阶张量。

ABSTRACT

An approach for clustering multi-way data is introduced based on a finite mixture of multidimensional arrays. Attention to the use of multidimensional arrays for clustering has thus far been limited to two-dimensional arrays, i.e., matrices or order-two tensors. Accordingly, this is the first paper to develop an approach for clustering d-dimensional arrays for d>2 or, in other words, for clustering using order-d tensors.

研究动机与目标

• 解决现有聚类方法在二维数组（矩阵）之外对多维数据缺乏适用性的局限。
• 开发一种可直接作用于 d > 2 阶数组的有限混合模型。
• 以统计上合理的方式实现在高阶张量数据上的同步聚类与参数估计。
• 将有限混合框架从二阶张量扩展至任意阶 d 张量。

提出的方法

• 提出一种有限混合模型，其中每个分量为具有特定均值结构和协方差的 d 维数组（张量）。
• 采用概率生成模型，假设每个数据点来自 K 个分量张量之一。
• 使用期望-最大化（EM）算法估计混合分量参数与聚类分配。
• 通过张量向量化形式的多元正态分布对张量值观测的分布进行建模。
• 引入张量特异的约束与参数化方式，以在聚类过程中保持多维结构。
• 基于混合模型下观测张量数据的对数似然，推导 EM 算法的 E 步与 M 步。

实验结果

研究问题

• RQ1 有限混合模型能否被推广以聚类表示为高阶张量（d > 2）的数据？
• RQ2 在聚类过程中，如何保持张量值数据的概率结构？
• RQ3 与基于矩阵的聚类方法相比，所提出方法在多维数据上的性能如何？
• RQ4 在张量混合背景下，EM 算法的收敛性与参数估计能力如何？

主要发现

• 所提出方法成功将有限混合模型推广至 d > 2 阶数组，填补了张量聚类中的关键空白。
• EM 算法在合成张量数据上收敛可靠，表现出稳定的参数估计能力。
• 该模型保持了数据固有的多维结构，避免了向量化带来的信息损失。
• 该方法实现了聚类与参数估计的同步进行，为高阶数据提供了统计上一致的框架。